● 系统环境说明 Linux环境：centos7.4 EMR：3.0.0 Java：1.8.0_112 ● 集群配置 机器数量：50 内存：128G 硬盘：100T CPU核心数：32C 问题 SQL中使用了LEFT JOIN，在执行过程中遇到以下报错： java.lang.RuntimeExcep ...
分类：
其他好文 时间：
2020-07-17 01:24:45
阅读次数：
119
发现spark集群重启突然异常无法正常提供服务，两个master都没有人正常起来提供服务,不是防火墙规则导致的，不是因为更改端口导致的1.异常情况：spark-master报错：20/07/1616:52:35WARNClientCnxn:Session0x57355eb34540d0cforserverhadoop5/"ip":7072,unexpectederror,clo
分类：
数据库 时间：
2020-07-17 01:17:59
阅读次数：
135
文章参考链接 ： https://www.cnblogs.com/ftl1012/p/crontab.html https://www.runoob.com/linux/linux-comm-crontab.html <W3Cschool 这个讲的比较详细> SSRF漏洞redis写shell的时候 ...
分类：
系统相关 时间：
2020-07-16 21:57:52
阅读次数：
86
Java-执行shell命令 1、本地调用 1 import ch.ethz.ssh2.Connection; 2 import ch.ethz.ssh2.Session; 3 import lombok.extern.slf4j.Slf4j; 4 import org.springframewor ...
分类：
编程语言 时间：
2020-07-16 21:28:31
阅读次数：
82
1.设置别名 alias 别名=’原命令 -选项/参数’ 例如: alias ll='ls -lt'1 这样设置了ls -lt命令的别名是ll，在终端输入ll时，则相当于输入了ls -lt命令 注意： 在定义别名时，等号两边不能有空格，否则shell不能决定您需要做什么。仅在命令中包含空格或特殊字符 ...
分类：
系统相关 时间：
2020-07-16 18:09:59
阅读次数：
82
$表明是非root用户登录，#表示是root用户登录，它们是终端shell的命令提示符几种常用终端的命令提示符 BASH: root账户: # ,非root账户: $KSH: root账户: # ,非root账户: $CSH[TCSH]: root账户: % ,非root账户: %而/ 是根节点， ...
分类：
系统相关 时间：
2020-07-16 11:51:14
阅读次数：
105
什么是Shuffle 在RDD中，将每个相同key的value聚合起来。相同key的value可能在不同partition，也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有：groupByKey(),reduceBykey()等。 Shuffle Write和Re ...
分类：
其他好文 时间：
2020-07-16 10:12:36
阅读次数：
63
root@ubuntu:/data1/root/ryu/SDN-IP-Ryu# sshd -T Missing privilege separation directory: /run/sshd Missing privilege separation directory: /run/sshd ro ...
分类：
系统相关 时间：
2020-07-15 23:54:56
阅读次数：
177
python语言是一种什么类型？Python是一种面向对象、解释型、动态类型计算机程序设计语言；最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。解释型：程序无需编译成二进制代码，而是在执行时对语句一条一条编译；动态类型：在程序执行过程中，可以改变变量的类型；它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++
分类：
编程语言 时间：
2020-07-15 23:04:10
阅读次数：
110
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
