1. 背景描述和需求 数据分析程序部署在Docker中，有一些分析计算需要使用Spark计算，需要把任务提交到Spark集群计算。 接收程序部署在Docker中，主机不在Hadoop集群上。与Spark集群网络互通。 需求如下 1、在Docker中可程序化向Spark集群提交任务 2、在Docker ...
分类：
其他好文 时间：
2020-07-03 19:06:43
阅读次数：
62
存储越困难，提取越容易 HDFS客户端操作 开发环境准备 步骤一：编译对应HadoopJar包，配置Hadoop变量 步骤二：创建Maven工程，导入pom依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>juni ...
分类：
其他好文 时间：
2020-07-03 17:56:31
阅读次数：
59
怎么理解这两个文件？ 这两个文件本质上是一样，都是备份。 先从盘古开天地讲起，（给你设计你会怎么设计） 一开始，光有namenode进程，还并没有这两个文件的概念，当外部客户端有操作了，namenode进程把客户端的操作生成元数据，在进程中记录下来，也就是可能在内存维护一个列表数据结构之类的什么吧。 ...
分类：
其他好文 时间：
2020-07-03 12:39:53
阅读次数：
80
准备4台虚拟机，安装好ol7.7，分配固定ip192.168.168.11 12 13 14，其中192.168.168.11作为master，其他3个作为slave，主节点也同时作为namenode的同时也是datanode，192.168.168.14作为datanode的同时也作为second... ...
分类：
其他好文 时间：
2020-07-03 12:23:28
阅读次数：
70
1、简要描述如何安装配置一个apache开源版hadoop，描述即可 （1）解压Hadoop （2）配置JDK，防火墙、Hadoop环境 （3）修改Hadoop配置 （4）格式化namenode，对数据缓存的的路径进行格式化 （5）启动Hadoop 2、请列出正常工作的hadoop集群中hadoop ...
分类：
其他好文 时间：
2020-07-03 00:53:22
阅读次数：
83
Hadoop的广义与狭义之分 狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS:分布式文件系统--》存储；MapReduce:分布式离线计算框架--》计算；Yarn:资源调度框架 广义的Hadoop:广义的Hadoop不仅仅包含Hadoop框架，除了Hadoop框架之外的一些 ...
分类：
其他好文 时间：
2020-06-30 22:14:42
阅读次数：
67
一、概述 Hive是什么？ Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。 最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。它用 ...
分类：
其他好文 时间：
2020-06-30 17:16:56
阅读次数：
54
遇到的问题： 1. SPARK & HADOOP 不能安装在有空格的目录下 比如 programs file这种 2. 需要设置环境变量 PYSPARK_PYTHON PYSPARK_DRIVER_PYTHON 到3.6.5的环境，不然3.6 3.7会撞车 ...
分类：
其他好文 时间：
2020-06-29 21:28:22
阅读次数：
66
安装JDK1.8 查看JDK1.8的安装 https://www.cnblogs.com/TJ21/p/13208514.html 安装hadoop 上传hadoop 下载hadoop 地址http://mirrors.hust.edu.cn/apache/hadoop/common/ 放到mkdi ...
分类：
其他好文 时间：
2020-06-29 17:13:37
阅读次数：
53
做任何事都要经受得挫折，要有恒心和毅力，满怀信心坚持到底 Hadoop配置集群事件同步 时间同步方式 找一台机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间 配置时间同步步骤 1.时间服务器配置（必须root用户） rpm -qa|grep ntp 2.修 ...
分类：
其他好文 时间：
2020-06-29 17:07:37
阅读次数：
45
