注意：此次搭建是在ssh无密码配置、jdk环境已经配置好的情况下进行的 可以参考： Hadoop完全分布式安装教程 CentOS环境下搭建hadoop伪分布式集群 1.更改主机名 执行命令：vi /etc/sysconfig/network 2.设置hosts中ip与主机名的绑定 执行命令 vi / ...
分类：
其他好文 时间：
2018-07-22 17:01:44
阅读次数：
218
进行Hadoop伪分布式搭建时，需要有一定的Linux命令基础, 因为Hadoop是搭建在Linux环境上的开源框架, Hadoop的框架最核心的设计就是：HDFS和MapReduce。 本文也主要讲述HDFS和MapReduce环境的搭建。 搭建环境： 一、虚拟机网络环境配置 1.首先移动到网络配 ...
分类：
其他好文 时间：
2018-07-19 21:20:24
阅读次数：
152
1.先下载hadoop包，这里使用hadoop-2.7.3.tar.gz 2.配置hadoop环境变量：修改/etc/profile文件 ：vi /etc/profile HADOOP_HOME=/soft/hadoop PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOM ...
分类：
其他好文 时间：
2018-07-13 17:41:38
阅读次数：
171
https://my.oschina.net/MyHeaven1987/blog/1821509 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Dis ...
分类：
其他好文 时间：
2018-07-13 17:38:57
阅读次数：
191
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行 ...
分类：
其他好文 时间：
2018-07-07 13:50:03
阅读次数：
223
JDK安装配置 1 执行 rpm -i jdk-8u91-linux-x64.rpm 默认安装在/usr/java/jdk1.8.0_91目录中 2 3 配置环境变量 4 vi /etc/profile 5 在最后一行添加 6 export JAVA_HOME=/usr/java/jdk1.8.0_... ...
分类：
其他好文 时间：
2018-07-04 10:39:30
阅读次数：
180
一.Hadoop介绍 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。Hadoop的框架最核心的设计 ...
分类：
其他好文 时间：
2018-06-22 21:44:10
阅读次数：
274
1 准备原材料 1.1 jdk 1.8.0_171 1.2 Hadoop 2.8.3 2 免密登陆配置（否则安装过程需要不断输入密码） 2.1 开启macbook 允许远程登录 系统偏好设置--共享--选中 远程登录（远程登录状态为绿灯时，说明OK） ...
分类：
系统相关 时间：
2018-06-03 14:32:40
阅读次数：
167
Hadoop分支 Apache Cloudera Hortonworks 本文是采用Cloudera分支的hadoop。 下载cdh-5.3.6 版本 下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 各组件版本一定保持一致。 cdh5.3.6-snappy- ...
分类：
其他好文 时间：
2018-05-27 21:41:14
阅读次数：
190
