从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
使用.net dataexcel通信搭建一个简单的文件服务器。
通信简单介绍
1，通信使用TCP协议。
2，采用session机制，控制简单通信安全与连接限制防攻击。
3，采用开放协议包格。(32字节数据包)
4，采用网络断开，自动连接机制保证连接。
5，采用压缩机械压缩大数据（比如.net 里面datatable,dataset的传输）。
6，采用事件机制，更容易，更符合.net开发习惯。
7，采用异步传输，较大的连接与并发。
8，采用数据包头，解决粘包。
9，采用命令方式，更容易扩展。
10，采用允许...
分类：
Web程序 时间：
2014-05-07 08:11:20
阅读次数：
494
http://wiki.apache.org/hadoop/FAQ...
分类：
其他好文 时间：
2014-05-07 07:51:10
阅读次数：
229
数据库是程序的仓库，也是程序中最脆弱的一部分，因为它的脆弱性和重要性，所以需要专门进行管理和优化。在如今的网络化的时代更加需要数据库的灵活和快捷，一个高效的数据库能够使程序运行效率更快，提高程序的运行效率。但往往对数据库的设计达不到我们想要的效果，所以数据库的优化显得尤为重要。该系列文章正是考虑大数据量的当今如何才能让数据库的设计更加灵活，数据检索、操作更加高效展开的讨论，其中涉及到的优化...
分类：
数据库 时间：
2014-05-07 06:12:15
阅读次数：
427
Explain
Explain是Pig提供的调试工具，使用explain可以输出Pig Lation的执行计划。值得一提的是，explain支持-dot选项，将执行计划以DOT格式输出， (DOT是一种图形描述语言，请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)
代码实现详见org.apache.pig.impl.plan.DotPla...
分类：
其他好文 时间：
2014-05-07 06:03:35
阅读次数：
350
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
这里介绍一下hadoop的组成， hadoop主要由两部分组成，，一个是hdfs，另一个是mapreduce
这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn.
dfs 主要用来启动 namenode 和 datanode， namenode既是是传说中的matser, datanod...
分类：
其他好文 时间：
2014-05-07 04:33:35
阅读次数：
359
MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用...
分类：
其他好文 时间：
2014-05-07 04:05:06
阅读次数：
272
Ubuntu14下编译64位Hadoop2.4...
分类：
其他好文 时间：
2014-05-07 03:07:30
阅读次数：
256
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询，主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作，两边关联只取交集。
outer join分为left outer join、rig...
分类：
其他好文 时间：
2014-05-06 15:01:38
阅读次数：
269
