本文拟定是在一个局域网内（比如一个Hadoop集群）设定一台NTP服务器作为整个网络的标准时间参考，使用网络（集群）内的所有机器保持时间一致！以下是详细的操作步骤：1. 修改选定的服务器的本地时间#date -s '2014-11-21 12:48:30' +'%F %T' #2014-11-21 12:48:30为将要设定的时间2. 将修改后的时间写入硬件时钟，确保重启有效#hwclock -w...
分类：
其他好文 时间：
2014-11-24 10:08:57
阅读次数：
176
蓝色部分为文件的内容，橙色部分为新加的启动项目
[root@master bin]# cat /etc/rc.d/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in her...
分类：
Web程序 时间：
2014-11-21 18:50:32
阅读次数：
166
写MR过程中经常会遇到多个源路径的输入，我们可以在MR程序主函数中通过FileInputFormat.addInputPaths(job,args[0])方法来实现，
args[0]可以是folder1或者folder1，folder2只要以逗号分隔就可以了。
这样在执行MR的时候，输入会将多个源路径全部多为map输入进行执行。
另外一种实现单输入的方法（只支持一...
分类：
其他好文 时间：
2014-11-21 10:49:44
阅读次数：
269
出处：http://blog.csdn.net/jiangheng0535/article/details/10287609说明：由于hadoop集群对时间要求很高，所以集群内主机要经常同步。本文档适合ubuntu、redhat系列。注：很多内容是在网上摘录，然后试验后总结，如有疑问可留言探讨。1....
分类：
系统相关 时间：
2014-11-20 21:53:53
阅读次数：
289
即不同的集群在hdfs上建立不同的根目录和Zooeekper的根目录。如图所示：原来的hbase-0.94.14版本中在hdfs上目录是hbase，zookeeper的根目录是zookeeper_data。hbase-0.96.8版本中在hdfs上目录是index，zookeeper的根目录是zoo...
分类：
其他好文 时间：
2014-11-20 21:46:08
阅读次数：
146
24小时制：
new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
2014-11-20 16:13:41
12小时制：
new SimpleDateFormat("yyyy-MM-dd hh:mm:ss");
2014-11-20 04:13:41...
分类：
编程语言 时间：
2014-11-20 17:05:06
阅读次数：
165
在SparkWorker1?和SparkWorker2上使用jps会看到如下进程信息： 第二步：启动Spark集群 在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin目录下“start-all.sh”： 此时的SparkWorker1和SparkWo...
分类：
其他好文 时间：
2014-11-17 21:23:05
阅读次数：
184
在SparkWorker1和SparkWorker2上使用jps会看到如下进程信息：第二步：启动Spark集群在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin目录下“start-all.sh”：此时的SparkWorker1和SparkWorker2会出现新的进程“...
分类：
其他好文 时间：
2014-11-17 21:01:04
阅读次数：
182
直接上问题:这两天为了试验,安装了两套集群:(1)32位hadoop1集群(5个节点);(2)64位hadoop2集群(6个节点)两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接..
分类：
Web程序 时间：
2014-11-17 19:47:36
阅读次数：
248
直接上问题:这两天为了试验,安装了两套集群:
(1)32位hadoop1集群(5个节点);
(2)64位hadoop2集群(6个节点)
两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接没有datanode.还有种情况,...
分类：
Web程序 时间：
2014-11-17 16:00:22
阅读次数：
199
