1． Hadoop安装包目录结构 bin：Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。 etc：Hadoop配置文件所在的目录，包括core-site,xml、hdfs-site.xml、mapred-si ...
分类：
其他好文 时间：
2019-03-30 14:59:29
阅读次数：
183
这是利用eclipse的线程代替linuxe的进程去执行 第一步：首先要将已经下载解压后的hadoop配置好相应的环境变量 第二步： //创建配置文件对象 Configuration conf=new Configuration(true); 也就是下面的两行代码复制到创建配置文件对象的下面 //设 ...
分类：
系统相关 时间：
2019-01-13 21:14:13
阅读次数：
186
依赖： 1.jdk jdk-8u91-linux-x64.rpm 2.hadoop hadoop-2.7.3.tar.gz 把这两个依赖放到 /usr/local/ 下 安装JDK 这里直接用rpm安装 rpm -ivh jdk-8u91-linux-x64.rpm 安装好以后，会在 /usr目录下 ...
分类：
其他好文 时间：
2018-11-10 01:01:10
阅读次数：
139
一、过程分析 1、准备3台客户机（关闭防火墙、修改静态ip、主机名称） 2、安装JDK 3、配置环境变量 4、安装Hadoop 5、配置集群 6、单点启动 7、配置ssh免密登录 8、群起并测试集群 二、编写集群分发脚本 xsync 1、scp（secure copy）安全拷贝 1）scp定义 sc ...
分类：
其他好文 时间：
2018-11-06 00:49:05
阅读次数：
213
1、启动脚本文件 hadoop-env.sh yarn-env.sh 2、参数配置文件 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 3、集群主机文件 slaves 文件内容： hadoop-env.sh添加： yarn-env. ...
分类：
其他好文 时间：
2018-10-26 13:13:00
阅读次数：
198
> 1.Linux设置静态IP地址 > 2.修改主机名和映射文件 > 3.SSH免密码配置 > 4.Linux系统JDK的安装和配置 > 5.Hadoop伪分布式配置和测试 > 5.1 测试hdfs和yarn ...
分类：
其他好文 时间：
2018-10-24 22:28:35
阅读次数：
355
如果之前没有安装jdk和zookeeper，安装了的请直接跳过 # https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html # 安装 jdk # http://archive ...
分类：
其他好文 时间：
2018-10-08 21:41:23
阅读次数：
148
软件：CentOS-7 VMware12 SSHSecureShellClient shell工具：Xshell vm网络配置 01.基础配置 02.ssh配置 03.zookeeper配置 04.hadoop配置 05.mysql配置_单节点 06.hbase配置 07.hive配置 08.kaf ...
分类：
其他好文 时间：
2018-10-08 21:37:35
阅读次数：
136
辛辛苦苦学两年 ，一举回到解放前！！！ 大数据开始学真的头疼 关键是linux你玩的不6 唉难受 hadoop 配置参见博客 http://dblab.xmu.edu.cn/blog/install-hadoop/ 权威的东西 接下来是进行HDFS下读写文件 说一下自己遇到的问题 一直说拒接链接，一 ...
分类：
其他好文 时间：
2018-09-30 21:52:41
阅读次数：
208
hadoop入门（二） hadoop的配置 1.本地模式 2.伪分布式 3.分布式 一、配置linux环境： 1打开虚拟网络编辑器，选择 VMnet1 仅主机模式， 子网 IP 设为 192.168.1.0 ，子网掩码设为 255.255.255.0 2.增加用户组 创建用户： adduser 用户 ...
分类：
其他好文 时间：
2018-09-21 17:37:20
阅读次数：
166
