本文作者秦迪，微博平台及大数据技术专家，13 年加入微博，负责微博平台通讯系统的设计和研发、微博平台基础工具的开发和维护，并负责微博平台的架构改进工作，在工作中擅长排查复杂系统的各类疑难杂症。原文来自微信公众号：聊聊架构（ID： archtime） 工作了挺久，发现有个挺有意思的现象，从程序员、高级 ...
分类：
其他好文 时间：
2016-10-30 13:58:00
阅读次数：
317
2016年12月8日-10日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所和CSDN共同协办的2016中国大数据技术大会（Big Data Technology Conference 2015，BDTC 2016）将在北京新云南皇冠假日酒店隆重举办。 图片描述 ...
分类：
其他好文 时间：
2016-10-14 20:28:30
阅读次数：
117
大数据技术对商业效果的提升已经在越来越多的行业中被证明，未来的服务，无论是在线还是离线，处理的数据都会有数量级甚至几个数量级的增长。同时，我们看到内存除了访问速度越来越快，在存储的数据量和成本上并没有...
分类：
其他好文 时间：
2016-10-12 20:06:20
阅读次数：
246
原来：计算效率低 现在：成本降低，能用PC机，就不用大型机和高端存储了；软件容错硬件故障视为常态，通过软件保证可靠性；简化并行分布式计算，无需控制节点同步和数据交换，但是谷歌只发表了相关技术论文，没有开源实现，hadoop是模仿谷歌大数据技术的开源实现来了。 谷歌大数据技术：MapReduce、Bi ...
分类：
其他好文 时间：
2016-10-09 14:07:36
阅读次数：
213
大数据技术交流群:494721467安装storm-------------------1.准备jdk+zookeeper2.storm安装下载apache-storm-1.0.1.tar.gz+apache-storm-1.0.1.-src-tar.gz3.tar4.移动文件$>mv/soft/..5.配置环境变量[/etc/environment]pathSTORM_HOME=6.配置storm[conf/yaml]storm.zookeepe..
分类：
其他好文 时间：
2016-09-06 23:44:20
阅读次数：
136
机器学习分类 精确学习 符号学习： 例子： 爸爸*爸爸=爷爷。 80 90 年代研究热点。现在基本已经不再研究。 模糊学习 归纳，基于数据做统计。因为大数据技术的发展而变得火热。 模糊学习的分类 数据-归纳，训练-模型-对新的数据，得出结论 督导学习 无督导学习 督导学习 标记 无督导 聚类 常见的 ...
分类：
其他好文 时间：
2016-07-29 18:34:36
阅读次数：
152
整体思路 整体分三步： 1、记录日志 1、记录日志采用UDP协议写入大数据平台，大数据平台采用Hive表来存储日志信息。 2、写入日志的工作，封装了一个Auto.Lib3.Dealer.Log.dll，这个dll要依赖ZooKeeperNet.dll 和 log4net.dll。这三个dll文件地址... ...
分类：
其他好文 时间：
2016-07-21 08:39:52
阅读次数：
709
上讲，讲述了大概九种的技术种类以及他们的领域。那么既然有吃饭的，那就必须有做饭的。因此大数据技术结构的选型，必须有的组成部分至少三种（来源、计算、存储） 最简单的数据处理架构： 最少单元的数据处理方案，当然这个不是最好的，为什么呢，问题： 1.流式处理数据（Streaming）时，数据量小时，数据存 ...
分类：
其他好文 时间：
2016-07-05 22:35:03
阅读次数：
214
报名参加第一期培训马上就要结束了，特此纪念下第一次参加职业培训，第一次在线视频教学。偶然的一个机会我看到了51CTO的大数据专业培训，当时我就开始心动了。以前只是听说过大数据技术现在比较热门，自己对这方面也比较感兴趣，但苦于没有机会和条件学习。为了给自己增加一门..
分类：
其他好文 时间：
2016-06-30 14:50:18
阅读次数：
240
前面说了什么是java java只是一门语言，中文，英语，c++，c#等等数之不尽的语言 java的应用领域： 1）安卓应用 2）金融业服务器的应用 3）Java Web应用 4）软件工具 5）交易应用 6）J2ME应用 7）嵌入式领域 8）大数据技术 9）高频率的交易领域 10）科学应用 最后为什 ...
分类：
编程语言 时间：
2016-06-29 13:23:09
阅读次数：
191
