1.安装jdk 1)下载jdk-8u65-linux-x64.tar.gz 2)创建/soft文件夹 $>sudo mkdir /soft $>sudo chown grj:grj /soft 3)tar开 $>tar -xzvf jdk-8u65-linux-x64.tar.gz -C /soft ...
分类：
其他好文 时间：
2019-10-18 12:40:01
阅读次数：
120
基于Docker搭建大数据集群（七）Hbase搭建 一、安装包准备 "Hbase官网下载" ) "微云下载 | 在 tar 目录下" 二、版本兼容 三、角色分配 节点|Master|Regionserver | | cluster master|yes|no cluster slave1|backu ...
分类：
其他好文 时间：
2019-09-30 12:47:55
阅读次数：
103
目的 记录学习hadoop过程中遇到的基础问题，无关大小、无关困扰时间长短。 问题一 全分布式环境中运行mapred程序，报异常：java.net.NoRouteToHostException: 没有到主机的路由 在全分布式环境中运行mapred程序，报异常：java.net.NoRouteToHo ...
分类：
其他好文 时间：
2019-09-14 19:02:52
阅读次数：
133
完全分布式 1.配置文件 [core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //伪分布 replication=3 //完全分布 [mapred-site.xml] yarn ...
分类：
其他好文 时间：
2019-09-10 01:16:56
阅读次数：
117
1.独立模式(standalone|local) nothing! 本地文件系统。 不需要启用单独进程。 2.pesudo(伪分布模式) 等同于完全分布式，只有一个节点。 SSH: //(Socket), //public + private /server : sshd ps -Af | grep ...
分类：
其他好文 时间：
2019-09-03 22:18:44
阅读次数：
109
[toc] 大纲 机器环境及SSH预处理 hadoop安装部署 〇、Hadoop下载地址 采用apache官网下载地址进行下载 apache索引目录 "Index of /dist" 此处使用了 hadoop 3.1.2.tar.gz 一、分配机器环境 共3台机器 172.23.7.9 172.23 ...
分类：
其他好文 时间：
2019-08-22 23:41:15
阅读次数：
107
Spark大数据平台有使用一段时间了，但大部分都是用于实验而搭建起来用的，搭建过Spark完全分布式，也搭建过用于测试的伪分布式。现在是写一遍随笔，记录一下曾经搭建过的环境，免得以后自己忘记了。也给和初学者以及曾经挖过坑的人用作参考。 Hive on Spark是Hive跑在Spark上，用的是Sp ...
分类：
其他好文 时间：
2019-08-10 21:07:25
阅读次数：
138
实现步骤 1.准备三台虚拟机，01作为主节点，02、03作为从节点。（把每台虚拟机防火墙都关掉，配置免密码登录，配置每台的主机名和hosts文件。） 2.01节点上安装和配置：Hadoop+Hbase+JDK+Zookeeper 3.02、03节点上安装和配置：Hbase+JDK+Zookeeper ...
分类：
其他好文 时间：
2019-08-07 17:37:26
阅读次数：
116
hadoop集群安装模式 1）单机模式 直接解压，无需任何配置。主要用于测试代码。没有分布式文件系统。 2）伪分布式 完全分布式的一种形式，只是所有的进程都配置要一个节点上。有分布式文件系统，只不过是这个文件系统只有一个节点。 3）完全分布式 包含主节点和从节点，主节点namenode只有一个（一般 ...
分类：
其他好文 时间：
2019-08-01 09:43:21
阅读次数：
117
第一部分：Linux环境安装 Hadoop是运行在Linux，虽然借助工具也可以运行在Windows上，但是建议还是运行在Linux系统上，第一部分介绍Linux环境的安装、配置、Java JDK安装等。 第二部分：Hadoop本地模式安装 Hadoop本地模式只是用于本地开发调试，或者快速安装体验 ...
分类：
其他好文 时间：
2019-07-26 19:40:40
阅读次数：
114
