一 下载安装包 1 官方下载 官方下载地址：http://spark.apache.org/downloads.html 2 安装前提 Java8 安装成功 zookeeper 安装成功 hadoop 安装成功 Scala 安装成功 注意：从Spark2.0版开始，默认使用Scala 2.11构建。 ...
分类：
其他好文 时间：
2018-07-13 15:12:09
阅读次数：
322
Hadoop安装1、linux准备2、jdk准备，设置环境变量3、hadoop下载准备，解压后./conf 需要配置4个文件 hadoop-env.sh 修改java_home的目录 core-site.xml 配置 工作目录、元数据目录、如何访问 hdfs-site.xml 配置数据的路径 map ...
分类：
其他好文 时间：
2018-07-13 00:05:34
阅读次数：
150
环境：CentOS764位2台centos7-1192.168.190.130mastercentos7-2192.168.190.129slave1hadoop下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/选则3.1.0版本在安装之前需要先实现节点之间的免密码登陆1）去掉/etc/ssh/sshd_config中的两行注释，如没有则添加
分类：
其他好文 时间：
2018-07-12 10:29:35
阅读次数：
215
在网上看了很多该故障的解决方法，接下来介绍两种 1.解决方法是下载https://github.com/srccodes/hadoop-common-2.2.0-bin文件然后将其中的hadoop.dll文件放到hadoop安装路径的bin文件夹下（配置好HADOOP_HOME的环境变量），然后重启 ...
分类：
数据库 时间：
2018-07-04 10:31:52
阅读次数：
385
下载https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3.tar.gz 1、配置环境变量 vim /etc/proflie export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64exp ...
分类：
其他好文 时间：
2018-06-30 18:51:10
阅读次数：
226
1、先安装hadoop，详见hadoop安装部署 2、下载安装包 zookeeper-3.4.5 解压到hadoop目录 3、编辑 vim /etc/profile 导入 export ZK_HOME=/data/hadoop272/zookeeperexport PATH=${ZK_HOME}/b ...
分类：
其他好文 时间：
2018-06-15 13:11:45
阅读次数：
159
2017年06月06日 17:27:39 阅读数：711 2017年06月06日 17:27:39 阅读数：711 阅读数：711 1、 启动yarn,resourceManger启动失败，日志报错： org.apache.hadoop.yarn.exceptions.YarnRuntimeExce ...
分类：
其他好文 时间：
2018-06-12 20:58:14
阅读次数：
310
一、准备 该准备工作在三台机器上都需要进行，首先使用 vmvare 创建 1 个虚拟机，这台虚拟机是 master，一会需要把 master 克隆出两台 slave 点确定然后开启此虚拟机 然后添加/boot 分区，大小为 1G，文件系统选 ext4 然后添加 swap 分区，注意，swap 分区为 ...
分类：
其他好文 时间：
2018-05-29 18:53:43
阅读次数：
291
一.简述如何安装配置apache的一个开源的hadoop使用root账户登陆2.修改ip3.修改host主机名4.配置ssh免密登陆5.关闭防火墙6.安装ＪＤＫ7.解压hadoop安装包8.配置hadoop的核心配置文件hadoop-env.sh?core-site.xml?mapred-site.xmlyarn-site.xmlhdfs-site.xml9.配置hadoop的环境变量10.格式化
分类：
其他好文 时间：
2018-05-21 19:39:26
阅读次数：
504
