kafka unclean 配置代表啥，会对 spark streaming 消费有什么影响？

标签：ble   normal   影响   数据丢失   数据不一致   mil   tar   aci   fse   

unclean.leader.election.enable 为true的话，意味着非ISR集合的broker 也可以参与选举，这样有可能就会丢数据，spark streaming在消费过程中拿到的 end offset 会突然变小，导致 spark streaming job挂掉。如果unclean.leader.election.enable参数设置为true，就有可能发生数据丢失和数据不一致的情况，Kafka的可靠性就会降低；而如果unclean.leader.election.enable参数设置为false，Kafka的可用性就会降低。

kafka unclean 配置代表啥，会对 spark streaming 消费有什么影响？

标签：ble   normal   影响   数据丢失   数据不一致   mil   tar   aci   fse   

原文地址：https://www.cnblogs.com/programb/p/12906764.html