虽然是比较旧的版本（Hadoop1.2.1），但新版的安装过程也基本是一样的.. ...
分类：
其他好文 时间：
2017-09-06 23:49:38
阅读次数：
193
配置 ubuntu14.04 伪分布式 hadoop1.04 wordcount入门程序， 摘自hadoop基础教程 ...
分类：
其他好文 时间：
2017-09-01 23:07:11
阅读次数：
124
下载hadoop压缩包设置hadoop环境变量设置hdfs环境变量设置yarn环境变量设置mapreduce环境变量修改hadoop配置设置core-site.xml设置hdfs-site.xml设置yarn-site.xml设置mapred-site.xml设置slave文件分发配置启动hdfs格... ...
分类：
其他好文 时间：
2017-08-30 22:33:49
阅读次数：
264
首先说一下,这里是虚拟机环境. 1.用vbox安装centos6.8-mini 注意不要使用复制的方式安装,复制的虚拟机网络不通 安装如下: 主机 ip 角色 内存 hadoop1 192.168.0.10 namenode,HMASTER 2G hadoop2 192.168.0.11 namen... ...
分类：
系统相关 时间：
2017-08-30 22:31:14
阅读次数：
318
1.protobuf编译安装[root@hadoop1~]#yuminstallsvnautoconfautomakelibtoolcmakencurses-developenssl-develgcc*
[root@hadoop1~]#tar-zxfprotobuf-2.5.0.tar.gz
[root@hadoop1~]#cdprotobuf-2.5.0/
[root@hadoop1protobuf-2.5.0]#./configure--prefix=/usr/local/protobuf2.5/..
分类：
其他好文 时间：
2017-08-29 09:29:59
阅读次数：
158
Flume NG集群+Kafka集群整合： 修改Flume配置文件（flume-kafka-server.conf），让Sink连上Kafka hadoop1: hadoop2: 集群测试： hadoop3： hadoop1： 测试完毕，这样Flume+kafka就整合起来了，即Flume+Kafk ...
分类：
Web程序 时间：
2017-08-27 14:06:04
阅读次数：
298
Flume NG高可用集群搭建： 架构总图： 架构分配： 角色 Host 端口 agent1 hadoop3 52020 collector1 hadoop1 52020 collector2 hadoop2 52020 agent1配置(flume-client.conf)： collector1 ...
分类：
Web程序 时间：
2017-08-26 19:40:56
阅读次数：
373
在Hadoop1.x版本的时候，Namenode存在着单点失效的问题。如果namenode失效了，那么所有的基于HDFS的客户端——包括MapReduce作业均无法读，写或列文件，因为namenode是唯一存储元数据与文件到数据块映射的地方。而从一个失效的namenode中恢复的步骤繁多，系统恢复时 ...
分类：
其他好文 时间：
2017-08-20 15:48:14
阅读次数：
143
1.HDFS架构： NameNode保存元数据信息，包含文件的owner，permission。block存储信息等。存储在内存。 2.HDFS设计思想 文件以块的形式存贮，即block，大小为64M。大于64的文件分块，小于64则为1块。文件在上传的时候会产生副本，副本与原文件在不同的节点上，这样 ...
分类：
其他好文 时间：
2017-08-01 09:17:20
阅读次数：
142
Hadoop 2.0产生背景 ? Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 ? HDFS存在的问题 ? NameNode单点故障，难以应用于在线场景 ? NameNode压力过大，且内存受限，影响系统扩展性 ? MapReduce存在的问题 ? JobTrack ...
分类：
其他好文 时间：
2017-07-28 00:25:39
阅读次数：
231
