从 Docker 迁移到 Docker Swarm，再到 Kubernetes，然后处理了多年来的所有各种 API 更改之后，我非常乐意发现部署中出现的问题和把问题进行修复。 我今天分享下我认为最有用的5条故障排除技巧，以及一些其他的使用技巧。 kubectl –“瑞士军刀” kubectl 就是我 ...
分类：
Web程序 时间：
2021-01-30 12:00:52
阅读次数：
0
1. 问题截图 解决方法 sudo su root 解决问题截图 ...
分类：
其他好文 时间：
2021-01-29 11:56:29
阅读次数：
0
Checkpoint介绍 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamport ...
分类：
其他好文 时间：
2021-01-28 12:03:40
阅读次数：
0
环境是hive和Hadoop 报错如：User: liwei is not allowed to impersonate anonymous 修改hadoop 配置文件 $HADOOP_HOME/etc/hadoop/core-site.xml <property> <name>hadoop.pro ...
分类：
编程语言 时间：
2021-01-27 13:53:02
阅读次数：
0
来源：https://mp.weixin.qq.com/s/Tb8GtabOVBvx88de0C4ncw 0 背景 在某些场景中，比如GROUP BY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将 Kafka 消息记录的 key 当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记 ...
分类：
数据库 时间：
2021-01-27 13:12:51
阅读次数：
0
引言 在 K8s 集群运营过程中，常常会被节点 CPU 和内存的高使用率所困扰，既影响了节点上 Pod 的稳定运行，也会增加节点故障的几率。为了应对集群节点高负载的问题，平衡各个节点之间的资源使用率，应该基于节点的实际资源利用率监控信息，从以下两个策略入手： 在 Pod 调度阶段，应当优先将 Pod ...
分类：
其他好文 时间：
2021-01-27 13:03:58
阅读次数：
0
在发生故障切换后，经常遇到的问题就是同步报错，数据库很小的时候，dump完再导入很简单就处理好了，但线上的数据库都150G-200G，如果用单纯的这种方法，成本太高，故经过一段时间的摸索，总结了几种处理方法。生产环境架构图目前现网的架构，保存着两份数据，通过异步复制做的高可用集群，两台机器提供对外服 ...
分类：
数据库 时间：
2021-01-26 12:44:04
阅读次数：
0
<！-- demodemo.xml --><dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>2.7.0</version> ...
分类：
其他好文 时间：
2021-01-26 12:23:58
阅读次数：
0
一、新增节点 语法 #其中-s 为有序节点，-e 临时节点 create [-s] [-e] path data 创建持久化节点并写入数据： # 创建hadoop节点并写入数据123456： create /hadoop "123456" 创建持久化有序节点，此时创建的节点名为指定节点名 + 自增序 ...
分类：
系统相关 时间：
2021-01-22 12:13:51
阅读次数：
0
1.准备环境 安装centos7，在此我准备了五个虚拟机，分别命名为L1，L2,L3,L4,L5.计划在L1上面运行Master节点，在L3,L4,L5上面运行Worker节点。网络配置以及ssh免密登陆配置不再详细讲解，请参考我的另外一篇博客：虚拟机网络配置以及准备工作：https://blog. ...
分类：
其他好文 时间：
2021-01-22 11:44:51
阅读次数：
0
