公司一个数据抓取的程序，数据量极大，读取数据的用IDataReader的Read方法来进行数据处理，在测试的时候我想跑一部分数据后跳出循环，即break; 然后关闭datareader,但是在执行datareader.close()方法的时候出现了“超时异常”的错误， 查看了一下MSDN对Close...
分类：
其他好文 时间：
2014-07-26 00:17:36
阅读次数：
232
前言从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概...
分类：
其他好文 时间：
2014-07-25 14:13:02
阅读次数：
446
在MongoDB2.2新出现的。聚集管道式基于数据处理管道概念建模的数据聚集框架。文档进入一个多阶段能将该文档转化为聚集结果的管道。
聚集管道提供了map-reduce方法了替代物，并在很多聚集任务中是首选的方案，因为map-reduce的复杂性可能是你不希望看到的。...
分类：
数据库 时间：
2014-07-25 11:22:31
阅读次数：
306
Map-reduce是一个考虑大型数据得到有用聚集结果的数据处理程式（paradigm）．针对map-reduce操作，MongoDB提供来mapreduce命令．...
分类：
数据库 时间：
2014-07-25 11:09:11
阅读次数：
275
MongoDB提供了大量在结果集上执行特定聚集操作的聚集操作方法。
尽量在使用范围上有限制，特别是和聚集管道、map-reduce相比较，但这些操作，为常规的数据处理提供了直接的语义。...
分类：
其他好文 时间：
2014-07-25 11:04:11
阅读次数：
135
数据化运营讨论（1）近现代营销理论代表思想是4P理论，4P是指产品、价格、渠道、促销，它的核心是产品，其他要素都是围绕产品这个核心来的，进入21世纪人们又提出了4C的营销理论，包括消费者、成本、方便性、沟通交流，它的核心是用户是消费者，一切以消费者为核心，这也是目前..
分类：
其他好文 时间：
2014-07-24 23:52:34
阅读次数：
214
数据化运营讨论（2）数据化运营的理念与技术对企业来说是革命性的，它能将现在“卖方市潮商业状态变成为“买方市潮。“穷则思变”古话说的好，在当下传统营销方式手段很难明显提升业绩和市场竞争力时“数据化运营”的理念和技术就成为企业未来打破竞争，提升自我强有力地商业武..
分类：
其他好文 时间：
2014-07-24 23:52:24
阅读次数：
220
数据化运营讨论（3）2010年和2013年分别提出各自的数据化运营的战略方针，大数据的运营时代已经来到，而如何整合海量数据成为关键任务。业内，对数据化运营的定义有区别，但核心和要素都是一样的，那就是“以大数据分析挖掘为基础支撑企业以更加精细化的运营制度和战略”。落实..
分类：
其他好文 时间：
2014-07-24 23:52:04
阅读次数：
189
张长水：大数据时代的机器学习 VS 传统机器学习
从机器学习角度看，“大数据”指的是数据量大，数据本身不够精确，数据混杂，数据自然产生。机器学习对大数据的处理的两个挑战：
数据量大导致计算困难
分布在不同服务器上的数据存在一定联系，这些数据基本上不满足“独立同分布”假设，传统的模型和算法很难适应。
大数据时代给机器学习带来新的机遇：
在某些应用条件下，高维空间中的局部数据变得稠密。这个现象可以为分类器的设计提供更丰富的信息。甚至使分类器在性能上接近理论极限性能。
大数据使样本空间原本“空旷”的区域出现样本，...
分类：
其他好文 时间：
2014-07-24 23:37:33
阅读次数：
370
