首先卸载Centos本身自带的openjdk，我参考的这位博主的安装教程 https://www.cnblogs.com/happyflyingpig/p/8068020.html 安装Hadoop环境，我参考的是这位博主的安装教程 https://blog.csdn.net/frank409167 ...
分类：
编程语言 时间：
2020-04-03 21:48:00
阅读次数：
238
Centos Linux添加环境变量到PATH的方法在 Linux CentOS 系统上安装完 Hadoop 后，为了使用方便，需要将 Hadoop 命令加到系统命令中，如果在没有添加到环境变量之前，执行“hadoop fs”命令时，则会提示命令不存在的错误，如下所示： 方法一1. export P ...
分类：
系统相关 时间：
2020-04-03 19:56:56
阅读次数：
89
1.Hadoop的发展历史起源介绍 a.Hadoop最早起源于Nutch、Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询的功能，但随着抓取网页数量的增加，遇到了严重的可扩展的问题——如何解决数10亿网页的存储和索引问题。 b.2003、2004年谷歌发表的两篇论文为该问题 ...
分类：
其他好文 时间：
2020-04-03 12:26:15
阅读次数：
105
一、工具准备 1、7台虚拟机（至少需要3台），本次搭建以7台为例，配好ip,关闭防火墙，修改主机名和IP的映射关系（/etc/hosts），关闭防火墙 2、安装JDK,配置环境变量 二、集群规划： 集群规划（7台）： 主机名 IP 安装的软件 运行的进程 hadoop01 192.168.*.121 ...
分类：
其他好文 时间：
2020-04-03 00:25:12
阅读次数：
82
1.版本选型 hadoop 3.1.3 hive 3.1.2 presto 0.233.1 2.Prsto 简介 详细参考：https://prestodb.github.io/docs/current/connector.html 2.1 Presto 优势 多数据源，支持SQL，自定义扩展Con ...
分类：
其他好文 时间：
2020-04-03 00:15:16
阅读次数：
177
1.环境hadoop-2.6.0 spak2.1.1 scala-sdk-2.11.12 2.maven项目创建 3.pom 4.阿里云settings配置 <?xml version="1.0"?> <settings xsi:schemaLocation="http://maven.apache ...
分类：
其他好文 时间：
2020-04-02 19:37:02
阅读次数：
213
1.Shuffle机制 1.1 什么是shuffle机制 1.1.1 在hadoop中数据从map阶段传递给reduce阶段的过程就叫shuffle，shuffle机制是整个MapReduce框架中最核心的部分； 1.1.2 shuffle翻译成中文的意思为：洗牌，发牌（核心机制：数据分区，排序，缓 ...
分类：
其他好文 时间：
2020-04-02 18:08:23
阅读次数：
115
hbase报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing ...
分类：
Web程序 时间：
2020-04-02 17:59:54
阅读次数：
82
Hadoop有三种模式：本地模式、伪分布模式、集群模式 1、本地模式 1、在/opt下面创建一个software文件 2、将文件hadoop-2.6.5.tar.gz拷贝到 /opt/software下面 3、在usr下创建hadoop把hadoop-2.6.5.tar.gz 复制到 /usr/ha ...
分类：
其他好文 时间：
2020-04-02 11:42:47
阅读次数：
75
./bin/hdfs zkfc -formatZK 初始安装时初始化zk，在Zookeeper中创建了路径/hadoop-ha/hacluster ./bin/hdfs haadmin -getServiceState master1 查看主节点的状态，是active还是standby ./bin/ ...
分类：
其他好文 时间：
2020-04-01 19:33:47
阅读次数：
55
