标签:
1.增大partition最大连接数
kafka的集群有多个Broker服务器组成,每个类型的消息被定义为topic,同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上,消息生产者producer和消费者consumer可以在多个Broker上生产/消费topic,kafka的读写单位为partition。
2.增加磁盘挂载数
将log数据分布到不同磁盘的多个目录上。
3.避免与其他服务共享磁盘
避免影响io数据
4.增加处理网络io数
num.network.threads 主要处理网络io,读写缓冲区数据,基本没有io等待,配置线程数量为cpu核数加1.
5.增加处理磁盘io操作数
num.io.threads 主要进行磁盘io操作,高峰期可能有些io等待,因此配置需要大些。配置线程数量为cpu核数2倍,最大不超过3倍.
6.调整数据文件刷新策略
log.flush.interval.messages=10000 ##每当写入10000条数据时
log.flush.interval.ms=1000 ##每间隔1秒时
标签:
原文地址:http://www.cnblogs.com/wenchengxiaopenyou/p/5521810.html