一、安装 一、课前准备 1. 安装好hadoop2.X版本的三节点集群，并配置好JAVA_HOME和HADOOP_HOME两个环境变量。 二、课堂主题 讲解hive1.2.2版本的三种常见安装部署模式 三、课堂目标 1. 熟练搭建内嵌式hive环境 2. 熟练搭建本地式hive环境 3. 熟练搭建远 ...
分类：
其他好文 时间：
2020-06-26 01:33:04
阅读次数：
115
Yarn资源调度系统 一、课前准备 1. 三个节点的hadoop集群 二、课堂主题 1. yarn架构、核心组件 2. yarn应用提交过程 3. yarn的调度策略 4. yarn的优化 三、课堂目标 1. 数据yarn资源的任务调度原理 2. 熟练对yarn集群进行维护 3. 了解如何使用YAR ...
分类：
其他好文 时间：
2020-06-25 23:50:34
阅读次数：
115
一、安装Spark 1.1 下载并解压 官方下载地址：http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解压安装包： # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 ...
分类：
其他好文 时间：
2020-06-25 21:47:14
阅读次数：
74
Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impala，本节先介绍一下SparkSQL，然后从功能、架构、使用场景几个角度比较这三款产品的异同，最后附上分别由cloudera公司和SAS公司出示的关 ...
分类：
数据库 时间：
2020-06-25 21:29:31
阅读次数：
581
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类：
Web程序 时间：
2020-06-25 17:58:43
阅读次数：
54
package com.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import jav ...
分类：
其他好文 时间：
2020-06-25 17:46:58
阅读次数：
39
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc ...
分类：
其他好文 时间：
2020-06-25 17:32:46
阅读次数：
65
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类：
其他好文 时间：
2020-06-25 17:29:21
阅读次数：
73
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类：
其他好文 时间：
2020-06-25 17:23:59
阅读次数：
69
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类：
其他好文 时间：
2020-06-25 17:19:12
阅读次数：
66
