1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数，位于集群中的一个节点上，它负责三件事：维护 Spark 应用程序的相关信息；回应用户的程序或输入；分析任务并分发给若干执行器进行处理。驱动器是必须的，它是 Spark 应用程序的核 ...
分类：
其他好文 时间：
2020-12-17 12:09:25
阅读次数：
2
0、题记在写繁重的业务场景下，你是否遇到过Elasticsearch集群的性能问题？你是否遇到过Elasticsearch数据索引化速度限制问题？你是否遇到过搜索花费时间太长而无法执行的延迟问题？你是否遭遇过Elasticsearch集群故障排查的挑战？你是否努力尝试在零停机情况下提高Elasticsearch集群的稳定性？你是否想过从监控的角度去看Elasticsearch关键指标？如果你对以上
分类：
其他好文 时间：
2020-12-16 12:19:29
阅读次数：
2
1、实战问题来源问题1：大佬们GET/_nodes/hot_threads查看热线程的这个API有没有讲解请求结果的文章呢？返回一堆堆栈看不懂......问题2：ES集群就一台机器CPU爆高，但IO、heap_mem都正常。咋搞？hot_thread我查了，报了一坨，SOS死磕Elasticsearch知识星球微信群于是就有了这篇文章。2、hot_threads干什么的？能吃吗？实战业务场景中，当
分类：
编程语言 时间：
2020-12-16 12:17:47
阅读次数：
4
Ambari2.7.4+HDP3.1.4安装Centos7离线安装标签（空格分隔）：大数据平台构建一：关于HDP的介绍二：系统环境介绍三：系统环境初始化四：安装HDP3.1.4平台一：关于HDP的介绍1.1ambari的介绍Ambari是一种基于Web的工具，支持ApacheHadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、P
分类：
其他好文 时间：
2020-12-16 11:45:59
阅读次数：
4
常规步骤：在迁移前后，如果CRS使用的盘的路径发生改变（如 从使用/dev/rhdiskXX 变成 /dev/rhdiskpowerXX 或者 从/dev/rhdiskpowerXX 变成 /dev/rhdiskXX 或者其他类似变化），需要在确定即将进行迁移动作，手动停止CRS之前修改ASM实例里 ...
分类：
其他好文 时间：
2020-12-15 12:40:18
阅读次数：
4
一.测试Ceph集群节点之间的网络性能 在ceph01节点上运行： [root@openstack01 ~]# iperf3 -s -p 6900 Server listening on 6900 在ceph02节点上运行： [root@openstack02 ~]# iperf3 -c opens ...
分类：
其他好文 时间：
2020-12-15 12:25:40
阅读次数：
2
Pod是可以在Kubernetes中创建和管理的、最小的可部署的计算单元。Pod（就像在鲸鱼荚或者豌豆荚中）是一组（一个或多个）容器，这些容器共享存储、网络、以及怎样运行这些容器的声明。Pod中的所有容器是相对紧密的耦合在一起的，会被调度到同一个node节点上。本文测试数据来自源Kubernetes1.18版本。k8s的最小可调度单元如果选择容器作为k8s的最小可调度单元，那么容器的健康检测，多个
分类：
其他好文 时间：
2020-12-14 13:56:21
阅读次数：
10
Flink 集群搭建(基于flink on YARN模式) Flink HA高可以集群搭建(生产环境Flink Cluster On YARN) ...
分类：
其他好文 时间：
2020-12-14 13:50:58
阅读次数：
7
ES集群下线节点扩容，然后在上线 1、将节点从集群路由策略中排除 PUT _cluster/settings { "transient" : { "cluster.routing.allocation.exclude._name" : "node-1" } } 2、等待节点上分片全部被迁移 3、下线 ...
分类：
其他好文 时间：
2020-12-14 13:34:02
阅读次数：
4
概述继上一篇Thanos部署与实践发布半年多之后，随着技术的发展，本系列又迎来了一次更新。本文将介绍如何结合Kvass与Thanos，来更好的实现大规模容器集群场景下的监控。有Thanos不够吗?有同学可能会问，Thanos不就是为了解决Prometheus的分布式问题么，有了Thanos不就可以实现大规模的Prometheus监控了吗？为什么还需要个Kvass？Thanos解决了Promethe
分类：
其他好文 时间：
2020-12-14 13:19:57
阅读次数：
2
