SSH部分 操作主机创建密钥 [root@localhost ~]# ssh-keygen [root@localhost ~]# ls .ssh/ id_rsa id_rsa.pub 分发公钥到被监控端 [root@localhost .ssh]# ssh-copy-id -i id_rsa.pu ...
分类：
其他好文 时间：
2021-03-06 15:08:11
阅读次数：
0
hadoop大数据集群搭建过程中，需要使用到zookeeper进行主从管理和控制，那我们就安装一套集群环境 1、下载zookeeper 登录zookeeper.apache.org官网，找到Getting Started下边的Download。 进去之后我们选择一个版本，比如选择3.6.2，进去后选 ...
分类：
其他好文 时间：
2021-03-06 14:45:39
阅读次数：
0
杀死进程 $HADOOP_HOME/sbin/stop-yarn.sh $HADOOP_HOME/sbin/stop-dfs.sh 删除所有节点 hadoop 根目录下的 data 和 logs rm -rf data/ logs/ 格式化 在 hadoop 根目录下执行 hdfs namenode ...
分类：
其他好文 时间：
2021-03-06 14:35:10
阅读次数：
0
1、在/root/bin目录创建脚本xcall.sh 2、脚本本周编写内容 [root@wd ~]# vi xcall.sh !/bin/bash for i in wd.idc.com wd2 wd1 do echo $i ssh $i "$*" done 3、修改脚本执行权限 [root@wd ...
分类：
其他好文 时间：
2021-03-05 12:59:52
阅读次数：
0
事情起因： 最近TKE集群的RBAC对象级权限控制功能已经全量上线了，新的RBAC模式下kubeconfig不再提供集群的token，都是通过证书进行认证，具体变化和使用可以参考文档https://cloud.tencent.com/document/product/457/46104。 然后我们公 ...
分类：
其他好文 时间：
2021-03-04 13:32:08
阅读次数：
0
Application Application=a driver program + executors 一般来说：1个SparkContext = 1个application=1个SparkShell Spark提交任务不一定须在集群里提交，有gateway就行 1个application ==> ...
分类：
系统相关 时间：
2021-03-04 13:20:14
阅读次数：
0
参考资料 Influx Proxy 是一个基于高可用、一致性哈希的 InfluxDB 集群代理服务，实现了 InfluxDB 高可用集群的部署方案，具有动态扩/缩容、故障恢复、数据同步等能力。 相关文档：https://github.com/chengshiwen/influx-proxy 下载地址 ...
分类：
数据库 时间：
2021-03-04 13:07:16
阅读次数：
0
说明 Percona XtraDB Cluster(简称PXC)，是由percona公司推出的mysql集群解决方案。特点是每个节点都能进行读写，且都保存全量的数据。也就是说在任何一个节点进行写入操作，都会同步给其它所有节点写入到自己的磁盘。这点跟Oracle Rac有本质的区别，Rac是多个节点连 ...
分类：
数据库 时间：
2021-03-04 13:04:00
阅读次数：
0
Spark 运行时相关概念 从集群的物理层面 Master 节点：部署 Cluster Manager的节点 Slave 节点：部署 Worker 的节点，每个节点可以有多个 Worker 进程 从进程层面(与所执行的应用无关) Cluster Manager：管理集群的 CPU、内存等资源，为不同 ...
分类：
其他好文 时间：
2021-03-03 12:14:39
阅读次数：
0
简介 Docker Swarm 是 Docker 的集群管理工具。它将 Docker 主机池转变为单个虚拟 Docker 主机。 Docker Swarm 提供了标准的 Docker API，所有任何已经与 Docker 守护程序通信的工具都可以使用 Swarm 轻松地扩展到多个主机。 支持的工具包 ...
分类：
其他好文 时间：
2021-03-03 12:12:38
阅读次数：
0
