本文通过vmware虚拟机加docker，搭建了一个具有三个节点的hadoop完全分布式集群，可对用于学习hadoop、docker、linux等技能。...
分类：
系统相关 时间：
2015-08-25 19:44:39
阅读次数：
871
前期准备工作：
1.修改Linux主机名：/etc/hostname
ubuntu系统：vi /etc/hostname
将ubuntu默认的主机名ubuntu改为suh01
2.修改IP：/etc/network/interfaces
修改...
分类：
其他好文 时间：
2015-08-08 16:37:44
阅读次数：
319
Hadoop集群的配置即完全分布式Hadoop配置。本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经可以安装伪分布式的Hadoop了。如果你的系统还不能安装伪分布式Hadoop，请参考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完成配置。...
分类：
其他好文 时间：
2015-07-24 20:51:33
阅读次数：
142
我的Spark机群是部署在Yarn上的，因为之前Yarn的部署只是简单的完全分布式，但是后来升级到HA模式，一个主NN，一个备NN，那么Spark HistoryServer的配置也需要相应的做修改，因为不做修改会报错Exception in thread "main" java.lang.refl...
分类：
其他好文 时间：
2015-07-18 10:44:42
阅读次数：
402
继续上文，接着进行介绍2.2编辑hadoop-env.sh由于Hadoop是基于java编写的，所以需要在hadoop-env.sh里设置JDK路径。首先打开/etc/hadoop/hadoop-env.sh文件。找到JAVA_HOME变量，将其修改为export JAVA_HOME=/usr/li...
分类：
系统相关 时间：
2015-07-08 12:39:28
阅读次数：
169
Hadoop平台搭建有三种模式，分别是单机模式、伪分布模式、完全分布模式。单机模式是在单一计算机或者服务器上运行Hadoop，没有分布式的文件上传和任务分配等功能。它执行的流程仍然是Map/Reduce，但是是文件和程序都在本机上，可以看成只有一个节点的Hadoop平台。伪分布模式也是单一计算机.....
分类：
系统相关 时间：
2015-07-08 12:25:53
阅读次数：
173
之前在公司里维护了一个名字服务，这个名字服务日常管理了近4000台机器，有4000个左右的客户端连接上来获取机器信息，由于其基本是一个单点服务，所以某些模块接近瓶颈。后来倒是有重构计划，详细设计做了，代码都写了一部分，结果由于某些原因重构就被终止了。JCM是我业余时间用Java重写的一个版本，功能上目前只实现了基础功能。由于它是个完全分布式的架构，所以理论上可以横向扩展，大大增强系统的服务能力。名字...
分类：
其他好文 时间：
2015-07-04 18:28:02
阅读次数：
195
ZooKeeper 3.5.0 分布式配置问题 ZooKeeper 3.4.6 完全分布式安装与配置
分类：
其他好文 时间：
2015-07-03 00:02:29
阅读次数：
726
安装Mahout之前，一定要把hadoop装好，hadoop的安装方法可以参考我的前一篇随笔，我安装的是hadoop2.7.0，具体方法在此不做介绍。1.首先下载相应版本的Mahout:axel -n 10 http://archive.apache.org/dist/mahout/0.9/maho...
分类：
其他好文 时间：
2015-06-30 20:05:53
阅读次数：
220
基于虚拟机的Hadoop集群安装1、我们需要的软件Xshell， ssh secure, 虚拟机，Linux centos64， Hadoop1.2.1的安装包2、安装以上软件3、安装Linux，此处不多做阐述4、首先安装jdk我的路径是JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
PATH=PATH:PATH:JAVA_HOME/bin
CLASSPATH=JAVAHO...
分类：
其他好文 时间：
2015-06-28 12:50:45
阅读次数：
132
