王家林简介Spark亚太研究院院长和首席专家,中国目前唯一的移动互联网和云计算大数据集大成者。在Spark、Hadoop、Android等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码,并已完成2014年5月31日发布的Spark1.0...
分类:
移动开发 时间:
2014-07-22 23:29:47
阅读次数:
241
不知道什么时候大家都開始谈论大数据,筑尼玛第一次接触大数据是在今年年初出差的时候在机场见到的,筑尼玛比較喜欢看书所以当时就跟风买了一本维克托?迈尔?舍恩伯格的《大数据时代:生活、工作与思维的大变革》,只是由于工作比較忙一直放在角落里落灰,直到4月14日百度的新功能百度司南正式开售,筑尼玛才又開始好好...
分类:
其他好文 时间:
2014-07-22 23:08:12
阅读次数:
186
对于刚接触大数据的用户来说,要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析,以作抛砖引玉之用。Hive是什么?Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,注意这里不是数据库。Hive可以看作是用户编程...
分类:
其他好文 时间:
2014-07-22 22:45:54
阅读次数:
257
using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.IO.Ports;using System.Runtime.CompilerServices;using Sy...
分类:
其他好文 时间:
2014-07-22 22:44:35
阅读次数:
327
数据库奠基人Jim Gray:“磁带已经死了,磁盘已经落伍,闪存成为存储,内存才是王道”。“不管磁盘是否消融,闪存都是将来的一个趋势。”石油一直直接影响着世累经济的发展速度和发展水平,现在,信息将发挥同样的作用。《经济学人》表示:“数据和信息日益成为商业的新能源,是一种与资本、劳动力并列的新经济元素...
分类:
其他好文 时间:
2014-07-22 22:36:32
阅读次数:
318
随着科技的发展,信息的收集也越来越容易,再加上摩尔定律,大的数据量处理也成为了可能。
什么是大数据,也许你有几千个人的基本信息、也许你有数百条购物记录,但这都不不是大数据,大数据至少在千万的数据量上。
大数据有什么作用?其实数据中是包含各种规律的,互联网时代的数据以不在那么直观,再加上超大的数据量,人工已经很难从中找到规律或者关联了,但这并不意味着这些规律联系永远无法被发掘出来,事实...
分类:
其他好文 时间:
2014-07-22 14:46:04
阅读次数:
132
前段时间在做一个项目的时候,遇到了要通过WEB SERVICE从服务器上返回数据量比较大的DATASET,当然,除了显示在页面上以外,有可能还要用这些数据在客户端进行其它操作。查遍了网站的文章,问了一些朋友,也找了一些解决方法.众所周知,如果不用其它方法,直接从WEB SERVICE上传回一个10W...
分类:
Web程序 时间:
2014-07-22 00:06:35
阅读次数:
292
Mahout0.9+Hadoop-2.2.0贝叶斯分类纯java实战代码,希望能给搞大数据数据挖掘的java粉们有所帮助,也希望大家提出建议。也希望Mahout社区大牛,帮忙看看我遇到的问题,先在这里谢过了。。...
分类:
其他好文 时间:
2014-07-21 22:47:27
阅读次数:
365
本文讲解了大数据聚类算法中的一种clara.并通过matalb实例代码实现验证算法...
分类:
其他好文 时间:
2014-07-21 22:28:27
阅读次数:
248
Sqoop执行命令:./sqoopimport--connectjdbc:oracle:thin:@10.112.101.251:1621:crmadbmr--usernamebass_etl--password75!n!u6J--tableDBPMSADM.PD_USERSVC_INFO_00-m4--target-dir/ext/ods/PD_USERSVC_INFO_00/2014071906执行日志:crmd3n:/d2_data0/user/ocdc/bin/sqoop-1.4...
分类:
数据库 时间:
2014-07-21 19:27:52
阅读次数:
1653