杀死进程 $HADOOP_HOME/sbin/stop-yarn.sh $HADOOP_HOME/sbin/stop-dfs.sh 删除所有节点 hadoop 根目录下的 data 和 logs rm -rf data/ logs/ 格式化 在 hadoop 根目录下执行 hdfs namenode ...
分类：
其他好文 时间：
2021-03-06 14:35:10
阅读次数：
0
1、在/root/bin目录创建脚本xcall.sh 2、脚本本周编写内容 [root@wd ~]# vi xcall.sh !/bin/bash for i in wd.idc.com wd2 wd1 do echo $i ssh $i "$*" done 3、修改脚本执行权限 [root@wd ...
分类：
其他好文 时间：
2021-03-05 12:59:52
阅读次数：
0
事情起因： 最近TKE集群的RBAC对象级权限控制功能已经全量上线了，新的RBAC模式下kubeconfig不再提供集群的token，都是通过证书进行认证，具体变化和使用可以参考文档https://cloud.tencent.com/document/product/457/46104。 然后我们公 ...
分类：
其他好文 时间：
2021-03-04 13:32:08
阅读次数：
0
Application Application=a driver program + executors 一般来说：1个SparkContext = 1个application=1个SparkShell Spark提交任务不一定须在集群里提交，有gateway就行 1个application ==> ...
分类：
系统相关 时间：
2021-03-04 13:20:14
阅读次数：
0
参考资料 Influx Proxy 是一个基于高可用、一致性哈希的 InfluxDB 集群代理服务，实现了 InfluxDB 高可用集群的部署方案，具有动态扩/缩容、故障恢复、数据同步等能力。 相关文档：https://github.com/chengshiwen/influx-proxy 下载地址 ...
分类：
数据库 时间：
2021-03-04 13:07:16
阅读次数：
0
说明 Percona XtraDB Cluster(简称PXC)，是由percona公司推出的mysql集群解决方案。特点是每个节点都能进行读写，且都保存全量的数据。也就是说在任何一个节点进行写入操作，都会同步给其它所有节点写入到自己的磁盘。这点跟Oracle Rac有本质的区别，Rac是多个节点连 ...
分类：
数据库 时间：
2021-03-04 13:04:00
阅读次数：
0
Spark 运行时相关概念 从集群的物理层面 Master 节点：部署 Cluster Manager的节点 Slave 节点：部署 Worker 的节点，每个节点可以有多个 Worker 进程 从进程层面(与所执行的应用无关) Cluster Manager：管理集群的 CPU、内存等资源，为不同 ...
分类：
其他好文 时间：
2021-03-03 12:14:39
阅读次数：
0
简介 Docker Swarm 是 Docker 的集群管理工具。它将 Docker 主机池转变为单个虚拟 Docker 主机。 Docker Swarm 提供了标准的 Docker API，所有任何已经与 Docker 守护程序通信的工具都可以使用 Swarm 轻松地扩展到多个主机。 支持的工具包 ...
分类：
其他好文 时间：
2021-03-03 12:12:38
阅读次数：
0
Eureka Server即服务的注册中心，在刚才的案例中，我们只有一个EurekaServer（Eureka Server是一个web应用，可以启动多个实例），事实上EurekaServer也可以是一个集群，形成高可用的Eureka中心。eureka-server模块只有一个，配置只有一个，通过在 ...
分类：
其他好文 时间：
2021-03-01 13:12:49
阅读次数：
0
集群角色： leader：负责事务读写操作， follower：读操作，把写操作交给leader，投票 observer：除了不投票几乎和follower一致 ZXID: 分布式事务id，全局唯一，一般作为事务id使用 会话： 每次服务端连接建立，存在一个会话，和服务端的通讯。一般会创建一个零时节点 ...
分类：
其他好文 时间：
2021-03-01 12:59:32
阅读次数：
0
