1. Hadoop中遇到的问题曾经所遇到的问题因为没有记录,所以忘了(1)NameNode没有启动成功, 是因为你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件里的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件里df...
分类：
其他好文 时间：
2014-06-28 12:47:08
阅读次数：
394
原先使用hadoop默认设置（hadoop1.2.1），secondarynamenode会正常进行备份，定时从namenode拷贝image文件到SNN。但是具体SNN备份的时间周期和log文件的大小无法定制，后来楼主就修改了SNN的设置，将fs.checkpoint.period修改为...
分类：
其他好文 时间：
2014-06-27 16:05:28
阅读次数：
452
软件版本如下：
Hostname
IP
Hadoop版本
Hadoop
功能
系统
master
192.168.119.128
1.1.2
namenode
jdk1.6+hadoop+scala2.9.3+spark1.0.0
centos4.9...
分类：
其他好文 时间：
2014-06-25 19:50:09
阅读次数：
227
Hama学习笔记
1. Hama定义
Hama是基于HDFS上的BSP模型实现，其运行不需要MapReduce。例证如下: 在单点调试的Hama系统上，只运行NameNode、DataNode、BSPMasterRunner、GroomServerRunner和 ZooKeeperRunner进程，即可运行PageRank程序。
2. MapReduce与BSP区别
执行机制：MapR...
分类：
其他好文 时间：
2014-06-21 23:12:18
阅读次数：
268
1、问题：start-all.sh结果jps发现namenode没有启动，其它进程都启动2、查看日志，没有namenode生产的日志3、奇了，检查其它进程的日志，都在重新连接namenode Zzzzzzz.....4、记得虚拟机是直接关机的，未执行stop-all.sh5、删除tmp目录（metd...
分类：
其他好文 时间：
2014-06-18 13:49:33
阅读次数：
252
2.0 数据排序"数据排序"是许多实际任务执行时要完成的第一项工作，比如学生成绩评比、数据建立索引等。这个实例和数据去重类似，都是先对原始数据进行初步处理，为进一步的数据操作打好基础。2.1 实例描述 对输入文件中数据进行排序。输入文件中的每行内容均为一个数字，即一个数据。要求在输出中每行有两个间隔...
分类：
其他好文 时间：
2014-06-18 08:18:42
阅读次数：
256
参考链接：http://blog.csdn.net/zolalad/article/details/11470449环境：ubuntu14.04 hadoop1.0.1下面以３台机器为例，讲解安装过程1)准备3台机器，一台作为nameNode，命名为master，两台作为dataNode，命名为sl...
分类：
其他好文 时间：
2014-06-18 00:06:18
阅读次数：
243
二、Hadoop目录结构这里重点介绍几个目录bin、conf及lib目录。1、$HADOOP_HOME/bin目录文件名称说明hadoop用于执行hadoop脚本命令，被hadoop-daemon.sh调用执行，也可以单独执行，一切命令的核心hadoop-config.shHadoop的配置文件hadoop-daemon.sh通过执行hadoop命令来启动/停止一个守护进程(daemon)。该命令...
分类：
其他好文 时间：
2014-06-16 23:13:29
阅读次数：
338
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
三、配置Hadoop1、设置$HADOOP_HOME/conf/hadoop-env.sh这个文件中设置的是Hadoop运行时需要的环境变量，在1.2.1版中共有19个环境变量，如下： 变量名称默认值说明JAVA_HOME 设置JDK的路径，这个必须设置，否则Hadoop无法启动，值如：/usr/local/jdk1.6.0_33HADOOP_CLASSPATH空这个用以设置用户的类路径，也可以在...
分类：
其他好文 时间：
2014-06-16 19:59:35
阅读次数：
380
