一.背景一.1数据挖掘和大数据分析行业背景和发展趋势移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据IDC《数字宇宙》(DigitalUniverse)研究报告显示，2020年全球新建和复制的信息量已经超过40ZB，是2015年的12倍;而中国的数据量则会在2020年超过8ZB，比2015年增长22倍。数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC亚
分类：
其他好文 时间：
2018-09-25 15:30:24
阅读次数：
220
大数据已经火了很久了，一直想了解它学习它结果没时间，了解了一些资料，结合我自己的情况，整理了一个学习路线，。 学习路线 Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeepe ...
分类：
其他好文 时间：
2018-09-17 13:34:04
阅读次数：
148
工作了两年多了，一直没写过总结。我想，是该写写总结了，看看最近的收获和教训。 我从事大数据开发，是始于2015年，接触的技术也比较有限，从MapReduce开始学起，到HDFS和Hadoop she'll命令，到Spark、Hive、Hbase，Sqoop，也算基本入门了，期间还部署了Hadoop集 ...
分类：
其他好文 时间：
2017-01-15 17:02:19
阅读次数：
175
大数据中90%的数据属于机器数据。除了来自于服务器、存储、网络中的传统IT数据以外，来自移动互联网、物联网中的大量非结构化数据也都属于机器数据。相比数据库数据，机器大数据具有数量大、增长速度快、复杂性高、多样化等特点，但是价值密度略低。Splunk就是一家专注于处理机..
分类：
其他好文 时间：
2014-10-30 01:59:48
阅读次数：
166
