1. Hadoop中遇到的问题
以前所遇到的问题由于没有记录,所以忘了
(1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点...
分类：
其他好文 时间：
2014-05-10 04:28:25
阅读次数：
475
搭建hadoop集群的时候一定会用到的就是SSH免密码登录[hadoop@hadoop1 ~]$
ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to
save the key (/home/ha...
分类：
系统相关 时间：
2014-05-09 23:10:11
阅读次数：
471
很多人在学习Nutch、Hadoop或者熟悉Linux操作系统时都会选择在VMWare上安装Linux虚拟机，而又往往不想分配给Linux虚拟机足够大的硬盘空间，这就容易导致使用Linux一段时间后，发现虚拟机上的硬盘空间不够了，此时怎么解决？有的人直接选择了重新安装Linux虚拟机，但是下一次硬盘又不够了呢，还要重新安装操作系统吗，那再下一次呢？这种方法势必会进入一个重复无聊的过程，除了增加安装...
分类：
系统相关 时间：
2014-05-09 21:52:40
阅读次数：
526
目的
这份文档描述 CapacityScheduler,一个为Hadoop能允许多用户安全地共享一个大集群的插件式调度器，如他们的应用能适时被分配限制的容量。
概述
CapacityScheduler 被设计成以分享的、多用户集群运行 Hadoop 应用并最大化利用集群的机制。
传统上，每一个组织都会有它自己的私有电脑资源，在顶峰或接近顶峰状态有充足的容量来面对组织的SLA...
分类：
其他好文 时间：
2014-05-09 13:59:54
阅读次数：
424
接到阿里电话说实习和竞赛智能二选一, 真伤心, 在实习前发挥余热吧.
总结一下在ODPS下 编写map / reduce 和进行购买预测的过程.
首先这里的hadoop输入输出都是表的形式, 我们需要一张输入表和一张输出表.
输入表为 提供的 t_alibaba_bigdata_user_brand_total_1 输出表为自定义的wc_out
w...
分类：
其他好文 时间：
2014-05-09 02:33:28
阅读次数：
418
介绍
Spork是Pig on Spark的highly experimental版本，依赖的版本也比较久，如之前文章里所说，目前我把Spork维护在自己的github上：flare-spork。
本文分析的是Spork的实现方式和具体内容。
Spark Launcher
在hadoop executionengine包路径下，写了一个Spark启动器，同MapReduceLauncher类似，会在launchPig的时候，把传入的物理执行计划进行翻译。
MR启动器翻译的是MR的操作，以及进一步的MR...
分类：
其他好文 时间：
2014-05-09 02:08:17
阅读次数：
358
hadoop 启动的时候datanode报错 Problem connecting to server 解决方案...
分类：
其他好文 时间：
2014-05-09 02:07:46
阅读次数：
313
对这个课程感兴趣的朋友可以加我QQ2059055336和我联系。ZooKeeper是Hadoop的开源子项目（GoogleChubby的开源实现），它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。Zookeeper的FastFail和Leader选举特性大大增强了分..
分类：
其他好文 时间：
2014-05-09 00:54:51
阅读次数：
265
1.COPY配置文件：cphive-default.xml.templatehive-site.xmlcphive-env.sh.templatehive-env.shcphive-exec-log4j.properties.templatehive-exec-log4j.propertiescphive-log4j.properties.templatehive-log4j.properties2.配置HADOOP主目录：vimhive-env.shHADOOP_HOME=/usr/a..
分类：
其他好文 时间：
2014-05-09 00:51:29
阅读次数：
282
