从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
Hadoop集群（第9期）_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类：
其他好文 时间：
2014-05-08 20:38:16
阅读次数：
669
如果不考虑其他任何问题，只比较速度的话，那肯定是mem快，但他们各有优缺点。文件缓存优点：1、由于现在的硬盘都非常大，所有如果是大数据的时候，放硬盘里就比较合适，比如做一个cms网站，网站里有10万篇文章，生成的文件大小总数可能就会很大。2、数据的存放较为安全，由于是硬盘存放，所以在意外掉电的情况下...
分类：
Web程序 时间：
2014-05-08 20:03:19
阅读次数：
307
导语:SEOer们,每天关注的就是排名上首页了没有,点击量有多少,新增了多少用户,很多SEOer们甚至为此绞尽脑汁,该怎样做好这三件事来高效率的达到排
名优化的效果呢?笔者今天与您分享三点. 第一,准确的数据分析是提升网站排名的基础. 数据分析,分析的是最大用户需求,分析的是竞争对手关键...
分类：
其他好文 时间：
2014-05-08 13:04:58
阅读次数：
300
作为一名码农，在项目开发过程中经常会涉及到项目的需求变更，变更的理由也是多种多样，总结而来分为外部和内部，从外部讲，例如：为了顺应某行业新的工作操作规范，甲方要求现有项目在工作流程环节上进行局部功能的变更；从内部讲，通过对市场环境的不间断调研和数据分析，公司产品在同类产品竞争中处于不利地位，市场份额日渐缩小，那么我们的产品设计人员会积极行动起来对产品的整个定位和新业务展开新的思考以寻求更加稳健的创...
分类：
其他好文 时间：
2014-05-07 16:19:29
阅读次数：
242
因为关注大数据，也写过若干关于大数据的文章，做过若干关于大数据的演讲，所以对有关这一主题的论文和书籍非常有兴趣。过去几年，在这方面读过十几本书，上百篇论文和文章。相对而言，舍恩伯格的《大数据时代》是迄今为止我读过的最好的一本专著，中英文都算上。此书的一大贡..
分类：
其他好文 时间：
2014-05-07 15:24:59
阅读次数：
226
htmlSliding Menu
Effect据《华尔街日报》报道，彼得森国际经济研究所的两位经济学家利用新的数据分析方法得出结论，中国的货币没有被低估。Martin
Kessler和Arvind Subramanian使用新的PPP算法计算出，在2011年至2014年3月期间中国的人均GDP增速较...
分类：
其他好文 时间：
2014-05-07 14:43:16
阅读次数：
309
使用.net dataexcel通信搭建一个简单的文件服务器。
通信简单介绍
1，通信使用TCP协议。
2，采用session机制，控制简单通信安全与连接限制防攻击。
3，采用开放协议包格。(32字节数据包)
4，采用网络断开，自动连接机制保证连接。
5，采用压缩机械压缩大数据（比如.net 里面datatable,dataset的传输）。
6，采用事件机制，更容易，更符合.net开发习惯。
7，采用异步传输，较大的连接与并发。
8，采用数据包头，解决粘包。
9，采用命令方式，更容易扩展。
10，采用允许...
分类：
Web程序 时间：
2014-05-07 08:11:20
阅读次数：
494
数据库是程序的仓库，也是程序中最脆弱的一部分，因为它的脆弱性和重要性，所以需要专门进行管理和优化。在如今的网络化的时代更加需要数据库的灵活和快捷，一个高效的数据库能够使程序运行效率更快，提高程序的运行效率。但往往对数据库的设计达不到我们想要的效果，所以数据库的优化显得尤为重要。该系列文章正是考虑大数据量的当今如何才能让数据库的设计更加灵活，数据检索、操作更加高效展开的讨论，其中涉及到的优化...
分类：
数据库 时间：
2014-05-07 06:12:15
阅读次数：
427
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
