张长水:大数据时代的机器学习 VS 传统机器学习
从机器学习角度看,“大数据”指的是数据量大,数据本身不够精确,数据混杂,数据自然产生。机器学习对大数据的处理的两个挑战:
数据量大导致计算困难
分布在不同服务器上的数据存在一定联系,这些数据基本上不满足“独立同分布”假设,传统的模型和算法很难适应。
大数据时代给机器学习带来新的机遇:
在某些应用条件下,高维空间中的局部数据变得稠密。这个现象可以为分类器的设计提供更丰富的信息。甚至使分类器在性能上接近理论极限性能。
大数据使样本空间原本“空旷”的区域出现样本,...
分类:
其他好文 时间:
2014-07-24 23:37:33
阅读次数:
370
大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数....
分类:
其他好文 时间:
2014-07-24 16:58:45
阅读次数:
239
不知道什么时候大家都開始谈论大数据,筑尼玛第一次接触大数据是在今年年初出差的时候在机场见到的,筑尼玛比較喜欢看书所以当时就跟风买了一本维克托?迈尔?舍恩伯格的《大数据时代:生活、工作与思维的大变革》,只是由于工作比較忙一直放在角落里落灰,直到4月14日百度的新功能百度司南正式开售,筑尼玛才又開始好好...
分类:
其他好文 时间:
2014-07-22 23:08:12
阅读次数:
186
数据库奠基人Jim Gray:“磁带已经死了,磁盘已经落伍,闪存成为存储,内存才是王道”。“不管磁盘是否消融,闪存都是将来的一个趋势。”石油一直直接影响着世累经济的发展速度和发展水平,现在,信息将发挥同样的作用。《经济学人》表示:“数据和信息日益成为商业的新能源,是一种与资本、劳动力并列的新经济元素...
分类:
其他好文 时间:
2014-07-22 22:36:32
阅读次数:
318
写这篇文章始于对维克托前辈《大数据时代》的理解与思考,大数据的浪潮已经一波一波地拍打在中国的土地上,各行各业都在积极的探索与这一技术的接轨 和发展的机遇,所以能够见证并亲历这一个变革技术的时代我们这一代是幸运的。之所以说大数据时代是一次变革,不光是其技术进步所带来的,其伴随的思维冲击 与变革也是前所...
分类:
其他好文 时间:
2014-07-21 10:13:34
阅读次数:
226
每次技术变革企业包括个人都需要做出适应,现在我们处于新一轮实际革命的时代节点上,从小数据时代到大数据时代的前叶.那么企业面对大数据需要做出什么样的变革呢?又存在什么样的挑战呢?首先,决策方式的改变,传统运作管理在变成大数据管理,越来越多的传统决策在变成基于数据分析..
分类:
其他好文 时间:
2014-07-18 13:16:00
阅读次数:
171
[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1:我想问,hdfs的namenode挂了,怎么处理? 使用ZooKeeper; 使用Mesos; 使用Yarn;Q2:用python和scala区别大吗? 就代码的风格而言是不大的; 世界上也有很多人使用python开发...
分类:
其他好文 时间:
2014-07-16 19:09:29
阅读次数:
294
在前面的博文实践记录之-Rsync镜像备份介绍了镜像备份工具Rsync的安装和使用.但在大数据时代,rsync的不足之处也暴露出来.首先.rsync本身实现不了实时备份.靠系统的crontab实现的话也受限于1分钟.因此这就导致了服务端和客户端数据可能出现不一致,更无法在应用故障时做到..
分类:
其他好文 时间:
2014-07-16 16:44:36
阅读次数:
391
Android底层框架解析与Java&C/C++软硬整合开发技术主讲人:高焕堂(台湾Android教父级专家)课程简介:在智能&大数据时代,系统开发不仅仅攸关软件设计与开发,还涉及深度软硬整合的智能硬件设计与开发。在当今产业的成功方程式:(((硬件+软件)+内容)+电信)潮流下,如何..
分类:
移动开发 时间:
2014-07-12 16:44:53
阅读次数:
465