标签：

Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。
本文列出了一些重要的配置参数。

官方的文档 Configuration比较老了，很多参数有所变动， 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也做了修正。

Boker配置参数

下表列出了Boker的重要的配置参数， 更多的配置请参考 kafka.server.KafkaConfig

High-level Consumer配置参数

下表列出了high-level consumer的重要的配置参数。
更多的配置请参考 kafka.consumer.ConsumerConfig

Producer配置参数

下表列出了producer的重要的参数。
更多的配置请参考 kafka.producer.ProducerConfig

kafka.serializer.DefaultEncoder
默认的这个Encoder事实上不做任何处理，接收到什么byte[]就返回什么byte[]:

class DefaultEncoder(props: VerifiableProperties = null) extends Encoder[Array[Byte]] {
  override def toBytes(value: Array[Byte]): Array[Byte] = value
}

NullEncoder则不管接收什么都返回null:

class NullEncoder[T](props: VerifiableProperties = null) extends Encoder[T] {
  override def toBytes(value: T): Array[Byte] = null
}

StringEncoder则返回字符串，默认UTF-8格式：

class StringEncoder(props: VerifiableProperties = null) extends Encoder[String] {
  val encoding = 
    if(props == null) 
      "UTF8" 
    else 
      props.getString("serializer.encoding", "UTF8")
  
  override def toBytes(s: String): Array[Byte] = 
    if(s == null)
      null
    else
      s.getBytes(encoding)
}

kafka.producer.DefaultPartitioner
默认的分区函数为DefaultPartitioner,它根据key的hashcode与分区数取余，得到相应的分区。

class DefaultPartitioner(props: VerifiableProperties = null) extends Partitioner {
  private val random = new java.util.Random
  
  def partition(key: Any, numPartitions: Int): Int = {
    Utils.abs(key.hashCode) % numPartitions
  }
}

但是如果key为null时会发送到哪个分区？在一定时间内往一个特定的分区发送，超过一定时间又会随机选择一个，请参考 key为null时Kafka会将消息发送给哪个分区? .所以推荐你发送Kafka消息时总是指定一个key,以便消息能均匀的分到每个分区上。

Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。
本文列出了一些重要的配置参数。

官方的文档 Configuration比较老了，很多参数有所变动， 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也做了修正。

kafka配置参数

标签：

原文地址：http://www.cnblogs.com/metoy/p/4573880.html