hadoop的核心思想是MapReduce，但shuffle又是MapReduce的核心。shuffle的主要工作是从Map结束到Reduce开始之间的过程。Hadoop不仅仅是大数据技术的核心重点，还是我们面试官面试的时候经常会问道的问题，本文将详细介绍Hadoop的运行原理。 ...
分类：
其他好文 时间：
2019-01-03 19:25:12
阅读次数：
145
最近不少网友向我咨询如何学习大数据技术？大数据怎么入门？怎么做大数据分析？数据科学需要学习那些技术？大数据的应用前景等等问题。由于大数据技术涉及内容太庞杂，大数据应用领域广泛，而且各领域和方向采用的关键技术差异性也会较大，难以三言两语说清楚，本文从数据科学和大数据关键技术体系角度，来说说大数据的核心技术什么，到底要怎么学习它，以及怎么避免大数据学习的误区，以供参考。1．大数据应用的目标是普适智能要
分类：
其他好文 时间：
2018-12-27 23:42:34
阅读次数：
227
大数据在我们生活和工作当中的应用越来越成熟，它大大方便了我们的生活。商家利用它将我们所想要的产品送到我们的眼前，常用的客户端能够将我们感兴趣的内容推送到我们跟前。大数据之所以如此神奇，是因为它背后有着技术的支撑。除了我们常常谈到的以IP代理技术【芝麻软件】为支撑的爬虫技术之外，还有这些： 一、分布式计算技术 分布式计算结合了NoSQL与实时分析技术，如果想要同时处理实时分析与NoSQL数据功能
分类：
其他好文 时间：
2018-12-24 17:19:11
阅读次数：
170
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的有力武器。 一、大数据接入 1、大数据接入 已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入 2、大数据接入技术 ...
分类：
其他好文 时间：
2018-12-23 22:20:46
阅读次数：
199
首先我们从宏观的视角来窥视下大数据技术框架： 图1 大数据技术框架 从图1可以看出，数据源-数据收集-数据存储-资源管理，这是我们进行数据分析和处理的基本;图中的计算框架包括批处理、交互式分析和流处理： 批处理计算：对时间没有严格要求，吞吐率要高 交互式计算：支持类SQL语言，快速进行数据分析 流式 ...
分类：
其他好文 时间：
2018-12-18 19:51:30
阅读次数：
218
随着人工智能技术的发展，越来越多的行业都在向科技靠拢，AII IN AI将是更多公司的发展战略。 ...
分类：
其他好文 时间：
2018-12-14 14:58:56
阅读次数：
176
大数据及其价值大数据是近几年非常热门的一个概念。到底什么叫做大数据呢？简单而言，就是具备4V属性的数据：Volume：量非常大，大到一台计算机所无法处理的数据；Variety：来源广泛，包括文本、图像、语音、机器传感器信号、日算计程序日志等；Velocity：产生速度非常快；Veracity：准确性要求高。关于大数据，有许多大家耳熟能详的经典案例，比如沃尔玛的“啤酒和尿布”案例；Target商场预
分类：
其他好文 时间：
2018-12-12 23:54:09
阅读次数：
296
新 IT 架构 = 云计算技术 + 大数据技术 + 人工智能技术
分类：
其他好文 时间：
2018-12-12 16:24:40
阅读次数：
173
大数据已经成为时代发展的趋势，很多人纷纷选择学习大数据，想要进入大数据行业。大数据技术体系庞大，包括的知识较多，系统的学习大数据可以让你全面掌握大数据技能。学习大数据需要掌握哪些知识？我还是要推荐下我自己创建的大数据资料分享群142973723，这是大数据学习交流的地方，不管你是小白还是大牛，小编都 ...
分类：
其他好文 时间：
2018-12-06 14:42:50
阅读次数：
194
大数据，想必大家近几年都有所耳闻或者已经如雷贯耳了，诚然，大数据的的火爆基本上可谓在大城市人尽皆知了，但是大家可能不知道的是，大数据分析得定义或概念到底是什么。且不说新出的人工智能，就大数据而言，我们一直在强调大数据的技术，大数据技术其实是我们的畅想而已，而且人工智能也离不开大数据分析的支撑，但是大... ...
分类：
其他好文 时间：
2018-12-04 17:08:04
阅读次数：
174
