设置metastore 机器： ke01、ke02、ke03、ke04 ke03 为元数据库 ke01、ke02、ke04 连接到元数据库 、 hive-metastore搭建 ke03: <configuration> <property> <name>hive.metastore.warehou ...
分类：
数据库 时间：
2021-03-12 13:42:56
阅读次数：
0
常用命令 基础命令 alias alias name='command1;command2;...' #添加别名 unalias name #删除别名 重定向 标注输入（stdin,默认为键盘输入）/标准输出（stdout,默认为屏幕输出）和标准错误（stderr） IO重定向是改变了输入来源和输出 ...
分类：
系统相关 时间：
2021-03-11 20:36:13
阅读次数：
0
Spark的五种JOIN策略解析 JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容： 影响JOIN操作的因素 Spark中JOIN执行的5种策略 Spa ...
分类：
其他好文 时间：
2021-03-10 13:42:57
阅读次数：
0
试了好多种，这个方法蛮好用的。有更好的，希望大家多多指教。 Dim ProNo As Integer, ProStr As String ProNo = IsRunning("SSS.exe") If ProNo = 0 Then Shell App.path & "\SSS.exe '" & st ...
分类：
其他好文 时间：
2021-03-09 13:17:05
阅读次数：
0
RDD算子调优 不废话，直接进入正题！ 1. RDD复用 在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算，如下图所示： 对上图中的RDD计算架构进行修改，得到如下图所示的优化结果： 2. 尽早filter 获取到初始RDD后，应该考虑尽早地过滤掉不需要的数据，进而减少对内 ...
分类：
其他好文 时间：
2021-03-06 14:22:58
阅读次数：
0
先用浏览器打开服务器连接 第一步：切换到root用户 命令： sudo -i 第二步：修改root密码 命令： passwd 重复录入所修改的密码，录入密码时是隐藏的，放心录入，录入后回车，再次录入确认密码 （单独修改密码是不能使用shell进行登录连接的，还需要开启权限） 第三步：开启权限 修改配 ...
分类：
其他好文 时间：
2021-03-04 13:32:48
阅读次数：
0
Application Application=a driver program + executors 一般来说：1个SparkContext = 1个application=1个SparkShell Spark提交任务不一定须在集群里提交，有gateway就行 1个application ==> ...
分类：
系统相关 时间：
2021-03-04 13:20:14
阅读次数：
0
sudo find /etc/ -type f -name "rc*" -exec ls -l {} \;find . -name "t*" -perm 777 -printfind . -mtime -180find /var/log/ -mtime -3 -ok rm {} \; vim 替换： ...
分类：
系统相关 时间：
2021-03-04 13:03:44
阅读次数：
0
JMeter是Java技术栈工具，在软件测试领域应用非常广泛，无论是性能测试还是接口测试，技术都很成熟和稳定。它有一个突出特点：开源，适合做二次开发，以阿里为代表的Java技术栈公司都对它青睐有加。在JMeter之前，我最早接触的工具是LoadRunner，毕业后还买过一本《精通软件性能测试与Loa ...
分类：
其他好文 时间：
2021-03-03 12:38:04
阅读次数：
0
Spark 运行时相关概念 从集群的物理层面 Master 节点：部署 Cluster Manager的节点 Slave 节点：部署 Worker 的节点，每个节点可以有多个 Worker 进程 从进程层面(与所执行的应用无关) Cluster Manager：管理集群的 CPU、内存等资源，为不同 ...
分类：
其他好文 时间：
2021-03-03 12:14:39
阅读次数：
0
