Hadoop 服务划分 使用三台节点，集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager ...
分类：
其他好文 时间：
2019-03-30 23:59:19
阅读次数：
346
一 完全分布式集群(单点） Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主 ...
分类：
其他好文 时间：
2019-03-25 10:29:29
阅读次数：
165
Hadoop是目前最常用的一个大数据分析工具，其核心组成是HDFS和MapReduce。本文对Hadoop2.0的基本安装和配置进行了一个概述，希望对Hadoop感兴趣的人能够对Hadoop有进一步的了解
分类：
其他好文 时间：
2019-03-18 18:38:33
阅读次数：
145
1.安装JDK1.8，下载安装包解压至 /usr/lib/jdk #配置路径 2.之前已经安装好SSH，现在设置免密码登录 测试设置是否成功 3.下载Hadoop2.6.0，解压至/home/super/software/hadoop 设置环境变量 添加 使环境生效 【ps:在后续出现start-a ...
分类：
系统相关 时间：
2019-03-17 18:19:36
阅读次数：
166
一、安装ubuntu操作系统 参考：https://www.cnblogs.com/Alier/p/6337151.html 二、下载hadoop以及hive hadoop：https://hadoop.apache.org/releases.html hive：http://hive.apache ...
分类：
系统相关 时间：
2019-03-12 21:22:42
阅读次数：
230
一、方式介绍 本次测试一种采用了四种方式进行了对比，分别是：1.在RDD内部调用java API。2、调用saveAsNewAPIHadoopDataset（）接口。3、saveAsHadoopDataset（）。4、BulkLoad方法。 测试使用的大数据版本如下（均为单机版）：Hadoop2.7 ...
分类：
其他好文 时间：
2019-03-06 01:13:30
阅读次数：
972
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-2.6.5 hbase-0.98.12.1-hadoop2 建立一个java工程 导入hadoop 相关jar导入hbase相关jar 使用客户端 ...
分类：
编程语言 时间：
2019-02-28 13:20:15
阅读次数：
176
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0 网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过… 而有写到的，大多又是 0.20 等旧版本版本的做法，即 javac -classpath /usr/local ...
分类：
其他好文 时间：
2019-02-25 18:05:34
阅读次数：
173
1. 环境准备 zookeeper3.4.12 mysql5.7 hive2.3.4 hadoop2.7.3 JDK1.8 hbase1.3.3 2. 集群规划 3. 下载kylin2.6 4. 添加系统环境变量 在文件末尾添加 :wq保存退出，并输入source /etc/profile使环境变量 ...
分类：
其他好文 时间：
2019-01-29 01:14:25
阅读次数：
571
运行hadoop2 自带的圆周率计算方法时，报错，找了半天，原来是在配置hadoop临时目录时，没有给权限，找到配置的hadoop临时目录文件夹，修改权限即可 ...
分类：
其他好文 时间：
2019-01-23 23:26:30
阅读次数：
418
