文章资料-情感.机器.认知-电子AI 游客
深度学习和大数据关系
【8803】by1 2019-01-16 最后编辑2019-03-09 19:05:14 浏览645

2012年以后,得益于数据量的上涨、运算力的提升和机器学习新算法的出现,人工智能开始大爆发。


有人认为将人工智能与大数据结合在一起是一个很自然的错误,其实不然,大数据是需要在数据变得有用之前进行清理、结构化和集成的原始输入,而人工智能则是输出,即处理数据产生的智能,所以两者有着千丝万缕的联系。


人工智能实现最大的飞跃是大规模并行处理器的出现,特别是GPU,它是具有数千个内核的大规模并行处理单元,而不是CPU中的几十个并行处理单元。这大大加快了现有的人工智能算法的速度,现在已经使它们可行。


大数据可以采用这些处理器,机器学习算法可以学习如何重现某种行为,包括收集数据以加速机器。人工智能不会像人类那样推断出结论。它通过试验和错误学习,这需要大量的数据来教授和培训人工智能。


人工智能应用的数据越多,其获得的结果就越准确。在过去,人工智能由于处理器速度慢、数据量小而不能很好地工作。也没有像当今先进的传感器,并且当时互联网还没有广泛使用,所以很难提供实时数据。人们拥有所需要的一切:快速的处理器、输入设备、网络和大量的数据集。


毫无疑问,没有大数据就没有人工智能。


什么是大数据


大数据是相当于传统数据的概念,大数据的“大”体现在数据的 数量大,种类多,产生快,处理快,价值高等特点,大数据的学习路线又可以分为两种,一种是大数据 开发分析应用,以时下热门的hadoop和spark为主;另外一种是大数据的研发工作,也就是开发出大数据处理需要的数据库,统计平台,研发新的机器学习的算法等等。总之,分析是为了追求数据结果的,研发是为了更好的去分析。但是想在大数据领域学习下去,两种都必须有所涉及,但是学习要有侧重其中一种。


为什么学习大数据?


因为大数据能带给我们的三个关键的观念转变:是全部数据,而不是随机采样;是大体方向,而不是精确制导;是相关关系,而不是因果关系。


(1)全体数据——在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样(随机采样,以前我们通常把这看成是理所应当的限制,但高性能的数字技术让我们意识到,这其实是一种人为限制。


(2)大数据具有混杂性——研究数据如此之多,以至于我们不再热衷于追求精确度;之前需要分析的数据很少,所以我们必须尽可能精确地量化我们的记录,随着规模的扩大,对精确度的痴迷将减弱;拥有了大数据,我们不再需要对一个现象刨根问底,只要掌握了大体的发展方向即可,适当忽略微观层面上的精确度,会让我们在宏观层面拥有更好的洞察力;


(3)相关关系——我们不再热衷于找因果关系,寻找因果关系是人类长久以来的习惯,在大数据时代,我们无须再紧盯事物之间的因果关系,而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生,但是它会提醒我们这件事情正在发生。

有的时候成功就是这样,方向和平台选择对了,只要付出足够的汗水,选择大于努力。


大数据学习路线


阿里前架构师总结最精辟最有效学习路径图,有了编程基础,顺着以下这个思维导图学习即可学会。







大数据零基础入门


大数据精品VIP视频


大数据实战案例视频


大数据就业指导


Python项目实战资料


Java项目实战资料


大声说出你的“Bug”前端后端尽管来问!