标签：
单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中，从每台应用服务器运行 logstash 进程并将数据直接发送到 Elasticsearch 里，显然不是第一选择：第一，过多的客户端连接对 Elasticsearch 是一种额外的压力；第二，网络抖动会影响到 logstash 进程，进而影响生产应用；第三，运维人员未必愿意在生产服务器上部署 Java，或者让 logstash 跟业务代码争夺 Java 资源。
所以，在实际运用中，logstash 进程会被分为两个不同的角色。运行在应用服务器上的，尽量减轻运行压力，只做读取和转发，这个角色叫做 shipper；运行在独立服务器上，完成数据解析处理，负责写入 Elasticsearch 的角色，叫 indexer。
Kafka 是一个高吞吐量的分布式发布订阅日志服务，具有高可用、高性能、分布式、高扩展、持久性等特性。和Redis做轻量级消息队列不同，Kafka利用磁盘做消息队列，所以也就无所谓消息缓冲时的磁盘问题。生产环境中还是推荐使用Kafka做消息队列。此外，如果公司内部已经有 Kafka 服务在运行，logstash也可以快速接入，免去重复建设的麻烦。
一、Logstash搭建
详细搭建可以参考Logstash安装搭建（一）。
二、配置Shipper
Shipper 即为Nginx服务器上运行的 logstash 进程，logstash 通过 logstash-input-file 写入，然后通过 logstash-output-kafka 插件将日志写入到 kafka 集群中。
Logstash使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径，而且会记录在 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。
.sincedb 文件中记录了每个被监听的文件的 inode, major number, minor number 和 pos。
Input配置实例
input { file { path => "/var/log/nginx/log_access.log" type => "nginx-access" discover_interval => 15 #logstash 每隔多久去检查一次被监听的 path 下是否有新文件。默认值是 15 秒。 sincedb_path => "/etc/logstash/.sincedb" #定义sincedb文件的位置 start_position => "beginning" #定义文件读取的位置 } }
其他配置详解：
exclude 不想被监听的文件可以排除出去。 close_older 已经监听的文件，若超过这个时间内没有更新，就关闭监听该文件的句柄。默认为：3600s，即一小时。 ignore_older 在每次检查文件列表时，若文件的最后修改时间超过该值，则忽略该文件。默认为：86400s，即一天。 sincedb_path 定义 .sincedb 文件路径，默认为 $HOME/.sincedb 。 sincedb_write_interval 间隔多久写一次sincedb文件，默认15s。 stat_interval 每隔多久检查被监听文件状态（是否有更新），默认为1s。 start_position logstash从什么位置开始读取文件数据。默认为结束位置，类似 tail -f 的形式。设置为“beginning”，则从头读取，类似 cat ，到最后一行以后变成为 tail -f 。
Output配置实例
以下配置可以实现对 kafka producer 的基本使用。生产者更多详细配置请查看 Kafka 官方文档中生产者部分配置文档。
output { kafka { bootstrap_servers => "localhost:9092" #生产者 topic_id => "nginx-access-log" #设置写入kafka的topic compression_type => "snappy" #消息压缩模式，默认是none，可选gzip、snappy。 } }
logstash-out-kafka 其他配置详解：
compression_type 消息压缩模式，默认是none，有效值为：none、gzip、snappy。 asks 消息确认模式，默认为1，有效值为：0、1、all。设置为0，生产者不等待 broker 回应；设置为1，生产者会收到 leader 写入之后的回应；设置为all， leader 将要等待 in-sync 中所有的 replication 同步确认。 send_buffer_bytes TCP发送数据时的缓冲区的大小。
logstash-kafka 插件输入和输出默认 codec 为 json 格式。在输入和输出的时候注意下编码格式。消息传递过程中 logstash 默认会为消息编码内加入相应的时间戳和 hostname 等信息。如果不想要以上信息(一般做消息转发的情况下)，可以使用以下配置，例如:
output { kafka { codec => plain { format => "%{message}" } } }
三、搭建配置Kafka
搭建配置Kafka可以参考 Kafka集群搭建。
四、配置Indexer
是用logstash-input-kafka插件，从kafka集群中读取数据。
Input配置示例：
input { kafka { zk_connect => "localhost:2181" #zookeeper地址 topic_id => "nginx-access-log" #kafka中topic名称，记得创建该topic group_id => "nginx-access-log" #默认为“logstash” codec => "plain" #与Shipper端output配置项一致 consumer_threads => 1 #消费的线程数 decorate_events => true #在输出消息的时候回输出自身的信息，包括：消费消息的大小、topic来源以及consumer的group信息。 type => "nginx-access-log" } }
更多 logstash-input-kafka 配置可以从 logstash 官方文档 查看。
Logstash 是一个 input | decode | filter | encode | output 的数据流。上述配置中有 codec => "plain" ，即logstash 采用转发的形式，不会对原有信息进行编码转换。丰富的过滤器插件（Filter）的存在是 logstash 威力强大的重要因素，提供的不单单是过滤的功能，可以进行复杂的逻辑处理，甚至无中生有添加新的logstash事件到后续的流程中去。这里只列举 logstash-output-elasticsearch 配置。
logstash-output-elasticsearch 配置实例：
output { elasticsearch { hosts => ["localhost:9200"] //Elasticsearch 地址，多个地址以逗号分隔。 index => "logstash-%{type}-%{+YYYY.MM.dd}" //索引命名方式，不支持大写字母（Logstash除外） document_type => "%{type}" //文档类型 workers => 1 flush_size => 20000 //向Elasticsearch批量发送数据的条数 idle_flush_time => 10 //向Elasticsearch批量发送数据的时间间隔，即使不满足 flush_size 也会发送 template_overwrite => true //设置为true，将会把自定义的模板覆盖logstash自带模板 } }
到此就已经把Nginx上的日志转发到Elasticsearch中。
标签：
原文地址：http://www.cnblogs.com/Orgliny/p/5730381.html
