Hadoop伪分布式配置过程：Hadoop：1.2.1Hbase：0.94.25nutch：2.2.1Java：1.8.0SSH：1.0.1jtomcat：7.0.57zookeeper：3.4.6（1）配置Java环境：http://www.cnblogs.com/xxx0624/p/416474...
分类：
系统相关 时间：
2014-12-21 13:49:57
阅读次数：
359
From: http://blog.csdn.net/yinan9/article/details/16805275 环境：CentOS 5.10（虚拟机下） [root@localhost hadoop]# lsb_release -a LSB Version: :core-4.0-ia32:co...
分类：
其他好文 时间：
2014-12-20 19:32:36
阅读次数：
296
接上一篇《Ubuntu Kylin系统下安装Hadoop2.6.0》通过上一篇，Hadoop伪分布式基本配好了。下一步是运行一个MapReduce程序，以WordCount为例：1. 构建实现类：cd /usr/local/hadoopmkdir workspacecd workspacegedit...
分类：
系统相关 时间：
2014-12-19 21:58:12
阅读次数：
275
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据，则MapReduce为海量的数据提供了计算。Hadoop 容易开发和运行处理大...
分类：
其他好文 时间：
2014-12-19 10:07:54
阅读次数：
307
配置zookeeper注意：因为是单机伪分布式配置，故同一机器上有3个serverzookeeper文件格式如下home---zookeeper---server0---zookeeper | ------------ser...
分类：
系统相关 时间：
2014-12-17 01:31:47
阅读次数：
253
原因：在原来的电脑上配置伪分布的时候，已经将hostname与IP绑定了，所以拷贝到别的电脑的时候，重新启动的时候就会失败，因为新的电脑的IP不见得就和原来的电脑的IP一样！因为在不同的网络中，在NAT模式下Linux的IP肯定是位于不同的网段的！！ 解决方法：vi /etc/hosts 将原来的电...
分类：
其他好文 时间：
2014-12-16 00:47:25
阅读次数：
299
网上hadoop单节点安装文章真是一搜一大堆，可以这样说，全是垃圾，那些博主也不知道自己安装过没有。。反正就一堆的copy，我实在看不下去了。必须把我总结的写出来，如果你有任何问题随时联系我！E-Mail: yanghg@pku.edu.cn下面我以2.2.0为例子！注意这是单节点！！伪分布式！！不...
分类：
其他好文 时间：
2014-12-11 19:09:07
阅读次数：
222
1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3 关闭防火墙的自动运行 执行命令 chkconfig ipt....
分类：
其他好文 时间：
2014-12-10 17:41:36
阅读次数：
248
什么是开发数据集？ 一个流行的开发策略是为生产环境中的大数据集建立一个较小的、抽样的数据子集，称为开发数据集。这个开发数据集可能只有几百兆字节。当你以单机或者伪分布式模式编写程序来处理它们时，你会发...
分类：
其他好文 时间：
2014-12-08 21:34:08
阅读次数：
387
1.hadoop支持的平台：
GNU/Linux平台是一个开发和生产的平台. hadoop已经被证明可以在GNU/Linux平台不是2000多个节点.
win32是一个开发平台，分布式操作还没有在win32系统上很好的测试， 所以它不被作为生产环境。
2.安装hdoop需要的软件：
linux和windows下安装hadoop需要...
分类：
其他好文 时间：
2014-12-03 15:44:24
阅读次数：
187
