1. Hadoop中遇到的问题曾经所遇到的问题因为没有记录,所以忘了(1)NameNode没有启动成功, 是因为你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件里的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件里df...
分类：
其他好文 时间：
2014-06-28 12:47:08
阅读次数：
394
配置系统是复杂软件必不可少的一部分，org.apache.hadoop.conf.Configuration在Hadooop各个子项目中发挥着重要作用。 windows系统广泛使用一种特殊批的ASCII文件.ini作为其主要配置文件标准，被称为（Initialization File）或概要文...
分类：
其他好文 时间：
2014-06-24 09:11:43
阅读次数：
248
1. 创建HBase表的对象HBase表的对项名字叫HTable，创建它的方法有很多，常见的有如下：org.apache.hadoop.hbase.client.HTable hTable = new HTable(org.apache.hadoop.hbase.HBaseConfiguration...
分类：
编程语言 时间：
2014-06-23 08:32:23
阅读次数：
386
Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”。具体特点概括为“轻、快、灵和巧”。轻：Spark 0.6核心代码有2万行，Hadoop 1.0为9万行，...
分类：
其他好文 时间：
2014-06-23 07:25:53
阅读次数：
418
鉴于hadoop的需要。。。但是并不限于此。。。有时候闲输入密码麻烦，也可以用这种办法从一个节点通过ssh进入另一个节点。。。设要使master进入slave是免密码的，则可以在master（ip为192.168.169.9）中如下操作：命令：ssh-keygen -t rsa 然后一路回车（该命令...
分类：
其他好文 时间：
2014-06-22 23:31:51
阅读次数：
332
最近在学Hadoop，的确是个好东西，内部原理的确很难理解，不过用起来还是比较方便的因为刚接触，一些指令还是写记下hadoop fs -rmr 每次运行前都要删除输出目录hadoop jar target/Test-1.0-SNAPSHOT.jar javaPath运行hadoop程序hadoop ...
分类：
其他好文 时间：
2014-06-22 23:10:26
阅读次数：
237
摘要：MapReduce程序进行单词计数。
关键词：MapReduce程序 单词计数...
分类：
其他好文 时间：
2014-06-22 19:59:49
阅读次数：
177
六、Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；l MapReduce将JobTracker中的资源管理及任务生命周期管理...
分类：
其他好文 时间：
2014-06-22 14:07:49
阅读次数：
256
摘要：MapReduce程序进行数据去重。
关键词：MapReduce 数据去重...
分类：
其他好文 时间：
2014-06-21 22:35:28
阅读次数：
237
