杀死进程 $HADOOP_HOME/sbin/stop-yarn.sh $HADOOP_HOME/sbin/stop-dfs.sh 删除所有节点 hadoop 根目录下的 data 和 logs rm -rf data/ logs/ 格式化 在 hadoop 根目录下执行 hdfs namenode ...
分类：
其他好文 时间：
2021-03-06 14:35:10
阅读次数：
0
RDD算子调优 不废话，直接进入正题！ 1. RDD复用 在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算，如下图所示： 对上图中的RDD计算架构进行修改，得到如下图所示的优化结果： 2. 尽早filter 获取到初始RDD后，应该考虑尽早地过滤掉不需要的数据，进而减少对内 ...
分类：
其他好文 时间：
2021-03-06 14:22:58
阅读次数：
0
环境： vmware centos7 1、下载适合自己的es版本 https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-10-1 2、由于我下载的是二进制包，因为从es7开始自带了jdk，所以不需要单独去安装jdk了，直接 ...
分类：
其他好文 时间：
2021-03-04 13:21:00
阅读次数：
0
Application Application=a driver program + executors 一般来说：1个SparkContext = 1个application=1个SparkShell Spark提交任务不一定须在集群里提交，有gateway就行 1个application ==> ...
分类：
系统相关 时间：
2021-03-04 13:20:14
阅读次数：
0
在企业中，数据库密码复杂度极高。偶尔会忘记数据库管理员的密码，在这种情况下如何保证数据不丢失情况下，并且重置数据库管理员的密码呢？下文将会以MySQL 5.7.26版本为例进行介绍。 1. 关闭数据库 [root@templates ~]# systemctl stop mysqld [root@t ...
分类：
数据库 时间：
2021-03-03 12:22:25
阅读次数：
0
Spark 运行时相关概念 从集群的物理层面 Master 节点：部署 Cluster Manager的节点 Slave 节点：部署 Worker 的节点，每个节点可以有多个 Worker 进程 从进程层面(与所执行的应用无关) Cluster Manager：管理集群的 CPU、内存等资源，为不同 ...
分类：
其他好文 时间：
2021-03-03 12:14:39
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 HDFS（Hadoop分布式文件系统）是Hadoop体系中 数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于 ...
分类：
其他好文 时间：
2021-03-02 12:24:42
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 ...
分类：
其他好文 时间：
2021-03-02 12:20:23
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 ...
分类：
其他好文 时间：
2021-03-02 12:10:47
阅读次数：
0
前言 在安装MySQL的时候会遇到很多问题，博客上有很多解决问题的办法，在这里我附上一些链接，遇到问题的朋友们可以阅读参考哈~本文主要针对于刚接触数据库的小白，来安装MySQL数据库。目前官网上的MySQL版本有5.5，5.6，5.7和8，在开发的时候我们一般要选择比最新版低1到2个版本的，因此我选 ...
分类：
数据库 时间：
2021-03-02 11:59:34
阅读次数：
0
