1、安装jdk 2、配置java环境变量 3、配置ssh免密钥登陆 4、解压hadoop安装包 5、配置hadoop环境变量 6、hadoop的java环境变量配置 7、配置core-site.xml 8、配置hdfs-site.xml 9、配置slaves文件 10、格式化hdfs 11、启动集群 ...
分类：
其他好文 时间：
2019-10-27 16:57:48
阅读次数：
94
1 scp命令 1）scp可以实现服务器与服务器之间的数据拷贝。 2）案例实操 （1）将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。 [root@hadoop101 /]# scp -r /opt/mo ...
分类：
其他好文 时间：
2019-10-09 15:39:06
阅读次数：
107
一、安装准备（完整版带图片的 找 3208006642@qq.com） 1.IP配置 打开终端输入ifconfig查看网卡配置名字为 ens33 所以为 本机为ifcfg-ens33（各个版本系统的名字不一样） 在ROOT下通过vim /etc/sysconfig/network-scripts/i ...
分类：
其他好文 时间：
2019-10-05 00:41:41
阅读次数：
142
window系统 1. anaconda 或python spark环境变量 2. 配置spark home D:\Develop\spark-1.6.0-bin-hadoop2.6\spark-1.6.0-bin-hadoop2.6 3. C:\Users\Administrator>pip in... ...
分类：
编程语言 时间：
2019-10-04 09:53:57
阅读次数：
157
如果你要使用idea的话，那么请下载spark-2.4.4-bin-hadoop2.7.tgz版本，而非其他版本，不然会在使用idea的时候，会报错缺少许多类 如： ...
分类：
其他好文 时间：
2019-10-04 09:29:05
阅读次数：
135
在阿里云轻量服务器Ubuntu18.04上装BigData相关软件的一系列教程的第二篇，安装了Hadoop2.9.2与Hbase2.2.0，并学习了Hbase Shell基本操作。 ...
分类：
系统相关 时间：
2019-10-03 10:24:38
阅读次数：
96
以前装Hadoop-3.1.2是跟着厦大林子雨的详细教程装的，所以遇到的问题不多，自己没怎么思考，导致跟着官网再装了一个Hadoop-2.9.2（为了装Hbase2.2.0）时装了两天，现在把遇到过的问题记下来以免以后再犯。 首先，安装软件首先看官网教程。但官网的教程是很简单的，比如Hadoop的安 ...
分类：
其他好文 时间：
2019-10-01 10:11:05
阅读次数：
472
1:在Windows下配置Hadoop的运行环境 第一步：将hadoop2.7.5文件夹拷贝到一个没有中文没有空格的路径下面 第二步：在windows上面配置hadoop的环境变量： HADOOP_HOME，并将%HADOOP_HOME%\bin添加到path中 第三步：把hadoop2.7.5文件 ...
Yet Another Resources Negotiator 从Hadoop2.0版本开始引入YARN，主要功能： 集群资源管理系统 负责集群的统一管理和调度 与客户端交互，处理客户端请求 一、基本架构 Master/Slave架构 资源管理和节点管理器组成 集群的机器启动nodemanager ...
分类：
其他好文 时间：
2019-09-22 19:42:42
阅读次数：
146
一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。<divalign="center"><imgwidth="600px"src="https://raw
分类：
其他好文 时间：
2019-09-14 00:34:44
阅读次数：
91
