1. 安装Ubuntu 2. 新装Ubuntu常用软件安装和系统设置 (1) 安装vim yum install vim (2) 更改hostname为hadoop_master sudo vim /etc/hostname (3) 关闭防火墙 sudo ufw disable (4) 安装rz s ...
分类：
系统相关 时间：
2018-05-20 22:46:16
阅读次数：
353
前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。 这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介 ...
分类：
其他好文 时间：
2018-05-18 14:21:08
阅读次数：
177
Hadoop 系列（二）安装配置 Hadoop 官网： 一、Hadoop 安装 1.1 Hadoop 依赖的组件 1. __JDK__ ：从 Oracle 官网下载，设置环境变量(JAVA_HOME、PATH 和 CLASSPATH)。 2. __SSH(安全外壳标议)__ ：推荐安装 Openss ...
分类：
其他好文 时间：
2018-05-12 13:49:57
阅读次数：
209
ApacheHadoop单节点上的安装配置下面将演示快速完成在单节点上的Hadoop安装与配置，以便你对HadoopHDFS和MapReduce框架有所体会。先决条件支持平台：GNU/Linux：已经证实了Hadoop在GNU/Linux平台上可以支持2000个节点的集群；Windows。本文所演示的例子都是在GNU/Linux平台上运行，若在Windows运行，可以参阅http://wiki.a
分类：
Web程序 时间：
2018-05-10 15:44:08
阅读次数：
197
环境：Ubuntu16.10、hadoop-2.7.2 一、 在Linux中安装hadoop 1、 将hadoop的开发包上传到Linux中 2、 将hadoop解压缩到“/usr/local”目录下 tar xzvf hadoop-2.7.2.tar.gz -C /usr/local 3、 进行目 ...
分类：
其他好文 时间：
2018-05-10 12:17:24
阅读次数：
191
HADOOP是apache旗下的一套开源软件平台，利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。 ...
分类：
其他好文 时间：
2018-04-29 14:28:52
阅读次数：
228
Master的NodeManager/DateNode未启动 日志中未出现任何错误 正常现象，如需在Master中启动可在 文件中 slaves Master的ResourceManager未启动 1. 检查 2. 检查 Slave的DateNode未启动 检查 yarn site.xml Name ...
分类：
其他好文 时间：
2018-04-28 22:19:17
阅读次数：
165
系统为CentOS 6.9，Hadoop版本2.8.3，虚拟机VMware Workstation 主要介绍Linux虚拟机安装、环境配置和Hadoop本地模式的安装。伪分布式和Windows下的安装将另作补充。 网络上关于Hadoop安装的教程非常多，这里主要是归纳出安装过程的简要步骤和可能碰到的 ...
分类：
系统相关 时间：
2018-04-28 10:56:11
阅读次数：
240
一、分布式模型1、环境准备准备4个节点，master1为主控节点（NameNode、SecondaryNameNode、ResourceManager），master2-4作为数据节点（DataNode、NodeManager）。并做好ntp时间同步1.1每个节点配置JAVA环境[root@master1~]#vim/etc/profile.d/java.shexportJAVA_HOME=/us
分类：
其他好文 时间：
2018-04-23 00:15:24
阅读次数：
179
