近千节点的RedisCluster高可用集群案例:优酷蓝鲸优化实战导读:RedisCluster作者建议的最大集群规模1,000节点,目前优酷在蓝鲸项目中管理了超过700台节点,积累了RedisCluster大量宝贵经验,本文从RedisCluster的工作原理出发,提出了管理Redis超大集群几点行之有效的优化方法。吴建超,优酷土豆广告基础平台开发工程师,对互联网基础产品及大数据产品有兴趣。在优
分类:
其他好文 时间:
2020-11-08 17:36:27
阅读次数:
22
说在前面的话今天谈谈k8s集群规模问题,到底集群应该有多大?虽然这个问题有些干燥,却包含了很多生产经验,如果这个问题也对你有所困扰,你可以选择继续读下去,大家在自己的公司不管是上云还是虚拟化技术,都已经在容器的途中多多少少都已经在迁移或者迁移的路上,在云原生的技术圈中,当谈到kubernetes稳定性可靠性的问题时,你却不知道如何下手,目前很多从事k8s的技术圈的人,可能还处于似懂非懂,多少知道点
分类:
Web程序 时间:
2020-09-17 13:44:48
阅读次数:
29
在《超融合正在成为构建私有云“基石”的主流方案,但其中关系你是否了解?》一文中,我们曾探讨了如何基于商用超融合产品进行私有云IaaS层云化改造,以及其融合部署、弹性的分布式架构和软件定义模式带来的独特优势。TechTarget执行主编JamesAlanMiller近期发文也探讨了超融合云这一技术趋势。James认为,超融合与云互为前提,相辅相成,必然推动超融合云这一新型IT基础设施的出现与应用。借
分类:
其他好文 时间:
2020-06-22 09:31:13
阅读次数:
109
解决项目迁移至Kubernetes集群中的代理问题 随着Kubernetes技术的日益成熟,越来越多的企业选择用Kubernetes集群来管理项目。新项目还好,可以选择合适的集群规模从零开始构建项目;旧项目迁移进Kubernetes集群就需要考虑很多因素,毕竟项目不能中断时间过久。 问题来源 近日在 ...
分类:
Web程序 时间:
2020-04-22 16:15:43
阅读次数:
81
聊聊HA行为、多NIC安装、集群规模,以及如何创建安装K8s实例。
分类:
其他好文 时间:
2020-04-20 15:42:12
阅读次数:
72
Kafka-硬件的选择 磁盘吞吐量(重要,影响生产者) 生产者客户端的性能直接受到服务器端磁盘吞吐量的影响。 生产者生成的消息必须被提交到服务器保存,大多数客户端在发送消息后会一直等待,直到至少一个服务器确认消息已经成功提交为止。 磁盘写入速度越快,生成消息的延迟就越低。 磁盘容量(制约集群规模) ...
分类:
其他好文 时间:
2020-03-29 13:00:28
阅读次数:
102
一、数据规模 二、集群处理数据的吞吐量 2.1 hdfs的读写测试 Hadoop自带一个测试用的jar包,可以运行它来得知集群处理数据的性能如何 hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-c ...
分类:
其他好文 时间:
2020-03-29 12:35:17
阅读次数:
225
griddb 官方提供了一套计算公式,我们可以用来方便的评估集群规模以及使用的资源大小 总内存使用 需要考虑的因素 row 数据的大小 需要注册的rows 评估公式 此为单collection 的,总的需要计算所有的集合 Memory capacity used = row data size × ...
分类:
数据库 时间:
2020-02-12 11:00:12
阅读次数:
98
+ Hadoop常见的端口 + Hadoop生态圈 + Hadoop配置文件以及简单的Hadoop集群搭建 + Hadoop参数调优 + 项目经验之基准测试 + Hadoop宕机 + Hadoop 高可用配置 Hadoop 常见的端口 ? dfs.namenode.http address:5007 ...
分类:
其他好文 时间:
2020-01-08 19:08:08
阅读次数:
91
节点配额和内核参数调整 对于公有云上的 Kubernetes 集群,规模大了之后很容器碰到配额问题,需要提前在云平台上增大配额。这些需要增大的配额包括 虚拟机个数 vCPU 个数 内网 IP 地址个数 公网 IP 地址个数 安全组条数 路由表条数 持久化存储大小 参考gce随着node节点的增加ma ...
分类:
其他好文 时间:
2020-01-03 10:28:25
阅读次数:
148