零. 相关文件 链接：https://pan.baidu.com/s/1KmfZlxevk07p _Aosnsm2w 提取码：df5l 一. MapReduce环境配置 1. 解压hadoop 把hadoop的安装包解压到Windows下(这里的安装包就是你搭hadoop集群时的安装包,我的是 ) ...
1.MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架； MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 2.MapReduce优缺点 2. ...
分类：
其他好文 时间：
2020-03-30 16:38:13
阅读次数：
83
传统Hive计算引擎为MapReduce，在Spark1.3版本之后，SparkSql正式发布，并且SparkSql与apachehive基本完全兼容，基于Spark强大的计算能力，使用Spark处理hive中的数据处理速度远远比传统的Hive快。在idea中使用SparkSql读取HIve表中的数据步骤如下1、首先，准备测试环境，将hadoop集群conf目录下的core-site.xml、hd
分类：
数据库 时间：
2020-03-30 14:42:50
阅读次数：
141
背景 我用VMWare搭建了一个Hadoop集群，Spark与Hive等组件都已经安装完毕。现在我希望在我的开发机上使用IDEA连接到集群上的Hive进行相关操作。 进行配置修改 修改Hive中的hive site.xml 在hive site.xml中找到这个配置，将改成如下形式 在hive si ...
分类：
其他好文 时间：
2020-03-21 18:02:12
阅读次数：
144
1、准备环境 centos 7.4 hadoop hadoop-3.2.1 （http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz） jdk 1.8.x 2、配置环境变量 命令：vi / ...
分类：
其他好文 时间：
2020-03-20 13:03:52
阅读次数：
80
停止hadoop集群 ssh admin@node60 '/opt/module/hadoop-2.7.6/sbin/stop-all.sh';ssh admin@node89 '/opt/module/hadoop-2.7.6/sbin/stop-all.sh';ssh admin@node145 ...
分类：
其他好文 时间：
2020-03-13 18:35:36
阅读次数：
69
工作需要，大数据相关组件又得重新搭建，整理了一下。序号主机名IP程序CPU内存磁盘操作系统1ambari.dev.smcaiot.com172.16.4.74Ambari4C24GB200GBCentOSLinuxrelease7.4.1708(Core)2master.dev.smcaiot.com172.16.4.74Master4C24GB200GBCentOSLinuxrelease7.4
分类：
其他好文 时间：
2020-03-10 23:28:13
阅读次数：
115
摘要及说明 本文旨在使用Vmware创建Ubuntu虚拟机，由于本文是在写 "使用vmware搭建hadoop集群" 的时候写的前置知识，文中的用户名等会使用 或者类似的词，你可以改为自己喜欢的名字，当然如果你的目的是( "用vmware搭建hadoop集群" ，我不建议你进行更改。 阅读须知 阅读 ...
分类：
系统相关 时间：
2020-03-04 12:33:10
阅读次数：
125
使用Vmware创建ubuntu虚拟机并搭建hadoop集群 ...
分类：
系统相关 时间：
2020-03-04 09:34:17
阅读次数：
121
架构图（HA模型没有SNN节点） 用vm规划了8台机器，用到了7台，SNN节点没用 NN DN SN ZKFC ZK JNN RM NM node1 * * node2 * * node3 node4 * * node5 * * node6 * * * * node7 * * * * node8 * ...
分类：
其他好文 时间：
2020-02-22 15:50:37
阅读次数：
107
