lk@lk-virtual-machine:~$ cd hadoop-1.0.1
lk@lk-virtual-machine:~/hadoop-1.0.1$ cd bin
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./stop_all.sh
bash: ./stop_all.sh: 没有那个文件或目录
lk@lk-virtual-machine:~...
分类：
其他好文 时间：
2014-05-10 09:58:55
阅读次数：
462
从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
import java.io.IOException;import
java.util.Iterator;import java.util.StringTokenizer;import
org.apache.hadoop.conf.Configuration;import org.apache.ha...
分类：
其他好文 时间：
2014-05-07 19:14:58
阅读次数：
416
http://wiki.apache.org/hadoop/FAQ...
分类：
其他好文 时间：
2014-05-07 07:51:10
阅读次数：
229
在zigbee规范中，引入了profile, cluster的概念。具体说来，假设规范一个profile(可以理解成一套规定)，这个profile用来规范智能家居领域的相关产品都要满足那些要求，那么home automation public profile就规定了智能家居都要做什么。当然了，你可以自己规范一个自己的profile，称为provite profile,而zigbee联盟则已经规范了...
分类：
其他好文 时间：
2014-05-07 07:45:25
阅读次数：
249
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用...
分类：
其他好文 时间：
2014-05-07 04:05:06
阅读次数：
272
Linux下Tomcat安装配置以及Windows不能连接服务器Tomcat解决方案
一、从官方网站上下载tomcat软件包。
官网地址： http://tomcat.apache.org/
点击左侧的 download的一个版本，我选择的是 tomcat7.0，选择一个后缀名为.tar.gz文件直接下载到本地。
二、通过工具SSH Secure 上传至linux服务器中，进行解压...
分类：
系统相关 时间：
2014-05-07 03:21:00
阅读次数：
625
Ubuntu14下编译64位Hadoop2.4...
分类：
其他好文 时间：
2014-05-07 03:07:30
阅读次数：
256
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询，主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作，两边关联只取交集。
outer join分为left outer join、rig...
分类：
其他好文 时间：
2014-05-06 15:01:38
阅读次数：
269
