1、Linux基础环境配置：CentOS7安装、配置 1.1、虚拟机安装Linux操作系统 A）Linux操作系统版本：CentOS 7 x86_64 DVD 1908.iso B）虚拟机安装CentOS配置：内存：1G，CPU：1，硬盘：40G C）网络：桥接 1.2、CentOS网络配置 A）C ...
分类：
其他好文 时间：
2020-05-05 19:43:47
阅读次数：
58
文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统，支持PB级的数据量 ...
分类：
其他好文 时间：
2020-05-05 18:09:27
阅读次数：
70
FileUtilsDelete.java // 删除文件和文件夹 package com.imooc.bigdata.hadoop.mr.wc; import java.io.File; public class FileUtilsDelete { /** * 删除文件，可以是文件或文件夹 * * ...
分类：
编程语言 时间：
2020-05-05 10:56:33
阅读次数：
68
1、下载安装包elasticsearch oss 7.6.2 linux x86_64.tar.gz到hadoop1 "elasticsearch oss 7.6.2 linux x86_64.tar.gz" 2、远程传输到hadoop2、hadoop3节点 scp r elasticsearch ...
分类：
其他好文 时间：
2020-05-05 10:46:38
阅读次数：
110
https://blog.csdn.net/qq_16403141/article/details/77598532 setOutputKeyClass和setOutputValueClass默认是同时设置map和reduce的输出类型的。 解决办法： 当K2, V2 和K3 , V3类型不一致时， ...
分类：
其他好文 时间：
2020-05-04 19:27:28
阅读次数：
66
一、简介 Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 解决的问题： （1）海量数据的存储 [HDFS] （2）海量数据的分析 [MapReduce] （3）资源管理调度 [YARN] 二、hadoop架构 在其核心，Hadoop ...
分类：
其他好文 时间：
2020-05-03 10:26:41
阅读次数：
66
一、下载Hadoop包和JDK1、下载Hadoop地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz2、下载jdk：链接：https://pan.baidu.com/s/1lbu7eBEtgjeGIi2bWthLnA提取码：0j0j二、准备虚拟机1、在VMware中创建新的虚拟机（Cen
分类：
其他好文 时间：
2020-05-03 01:08:47
阅读次数：
68
Hive架构架构原理： 1.4.1 查询语言 由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的 查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 1.4.2 数据存储位置 Hive 是建立在 Hadoop 之上的，所有 H ...
分类：
其他好文 时间：
2020-05-01 16:26:49
阅读次数：
51
HbaseAPI创建表错误记录Demo方法：importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDe
1. 查看日志，找到出错位置。 源码位置：hbase-0.94.11\src\main\java\org\apache\hadoop\hbase\master\AssignmentManager.java 1879 可以看到，问题是由于把某个region进行transit过程中出现了错。 造成的原因 ...
分类：
其他好文 时间：
2020-04-29 23:53:35
阅读次数：
149
