Hadoop伪分布式配置过程：Hadoop：1.2.1Hbase：0.94.25nutch：2.2.1Java：1.8.0SSH：1.0.1jtomcat：7.0.57zookeeper：3.4.6（1）配置Java环境：http://www.cnblogs.com/xxx0624/p/416474...
分类：
系统相关 时间：
2014-12-21 13:49:57
阅读次数：
359
配置Hadoop前提时已经配置过JDK和SSH（如何配置JDK：http://www.cnblogs.com/xxx0624/p/4164744.html）（如何配置SSH：http://www.cnblogs.com/xxx0624/p/4165252.html）1. 添加Hadoop用户sudo...
分类：
系统相关 时间：
2014-12-15 23:33:39
阅读次数：
302
用了一段时间的hadoop，现在回来看看源码发现别有一番味道，温故而知新，还真是这样的 在使用hadoop之前我们需要配置一些文件，hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml。那么这些文件在什么时候被hadoop使用？ ...
分类：
其他好文 时间：
2014-12-05 22:32:08
阅读次数：
241
今天为Hadoop配置zeromq、jzmq遇到各种问题，先是编译出错，到编译成功后测试出错等等，下面将我遇到的问题与大家分享一下。 第一个注意点是：必须先编译安装zeromq，然后在编译jzmq，否则会报zmq.h文件找不到。 官方安装配置链接：http://zeromq.org/bind...
分类：
系统相关 时间：
2014-12-03 22:56:03
阅读次数：
720
HBase配置相对比较简单，下面的教程也是基于我上面2篇Hadoop配置的环境下继续往下添加HBase的分布式配置，这次我的HBase安装目录放在跟Hadoop同一目录下面，节点信息跟我前一篇Hadoop完全分布式配置完全一样，不清...
分类：
其他好文 时间：
2014-11-24 13:52:13
阅读次数：
217
Master节点Log篇 1.?? WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration. 问题定位：hdfs-si...
分类：
其他好文 时间：
2014-11-24 12:07:12
阅读次数：
230
笔记：在配置好了spark后，如果需要添加/删除一个结点需要修改如下配置文件cd $HADOOP/etc/hadoop 进入hadoop配置文件夹下修改 slaves，将对应的节点添加/删除修改hdfs-site.xml , 修改hdfs副本的数量。cd $SPARK_HOME/conf 进入spa...
分类：
其他好文 时间：
2014-11-11 14:08:26
阅读次数：
589
在Fedora18上配置个人的Hadoop开发环境
1. 背景
文章中讲述了类似于“personalcondor”的一种“personal hadoop” 配置法。主要的目的是配置文件和日志文件有一个单一的源，
可以用软连接到开发生成的二进制库，这样就可以在所生成二进制库更新的时候维护其他的数据和配置项。
2. 用户案例
1. 比较不用改变现有系统中安装软件的情...
分类：
其他好文 时间：
2014-10-28 20:10:30
阅读次数：
306
本来想用土的掉渣的语言说说hadoop配置的，因为最近总有人问我，环境搭建老出莫名其妙的问题，可是写到一半，还是决定不写了，网上教程好多好多，而大家遇到问题有很多是软件版本不对应造成的，因此我就把大家需要用到的软件给共享一下算了，不用到处去找了。不谢，请叫我活雷锋。1.虚拟机VMWare10，用.....
分类：
其他好文 时间：
2014-10-23 22:28:37
阅读次数：
255
