标签:
作者:Danbo 时间:2016-03-13
Logstash可以试用不同的协议实现完成将数据写入Elasticsearch的工作,本节中介绍HTTP方式。
配置示例:
output { elasticsearch { hosts => ["192.168.0.2:9200"] index => "logstash-%{type}-%{+YYYY.MM.dd}" document_type => "%{type}" workers => 1 flush_size => 20000 idle_flush_time => 10 template_overwrite => true } }
解释:
批量发送
flush_size 和 idle_flush_time 共同控制Logstash向 Elasticsearch发送批量数据的行为。上面的示例说明:Logstash会将数据攒到20k条数据然后一次性发送出去,并且设置最大老化时间为10s。
默认情况下:flush_size 是500条,idle_flush_time是1s,注意,这点也是很多人单改大flush_size 也没能提高ES性能的原因。
索引名
写入的ES索引的名称,这里可以使用变量。为了更贴合日志场景,Logstash 提供了%{+YYYY.MM.dd} 这种写法。在语法解析的时候,看到以+号开头的,就会自动认为后面是时间格式,尝试用时间格式来解析后续字符串。
索引名中不能有大写字母,否则ES在日志中会报错InvalidIndexNameException,但是Logstash不会报错。
模板
Elasticsearch支持给索引预定义设置和mapping。logstash自带有一个优化好的模板。内容如下:
其中的关键设置包括
template for index-pattern
只匹配logstash-* 的索引才会应用这个模板。有时候我们会变更Logstash的默认索引名称,记住也得通过PUT方式上传可以匹配你自定义索引名的模板。当然,更建议的做法是,把自定义的名称放在"logstash-"后面,变成index => "logstash-custom-%{+yyyy.MM.dd}"
refresh_interval for indexing
Elasticsearch 是一个近实时搜索引擎。它实际上是每1s 刷新一次数据。对于日志分析应用我们用不着那么实时,所以logstash自带的模板修改成了5s,其实还可以继续提高这个刷新间隔以提高数写入性能。
multi-field with not_analyzed
Elasticsearch 会自动使用自己的默认分词器(空格,点,斜线等分隔)来分析字段。分词器对于搜索和评分是非常重要的,但是大大降低了索引写入和聚合请求的性能。所以logstash模板定义了一种叫“多字段”(multi-field)类型的字段,并给这个字段设置为不启用分词器。也就是当你想获取url字段的聚合结果的时候,不要直接用“url”,而是用“url.raw”作为字段名。
geo_point
Elasticsearch 支持geo_point 类型,geo distance 聚合等等,比如说,你可以请求某个geo_point 点方圆10km内的数据点的总数。
doc_values
doc_values 是Elasticsearch 1.0版本引入的新特性。启用该特性的字段,索引写入的时候回在磁盘上构建fielddata。doc_values 只能给不分词(对于字符串字段就是设置了 “index ”)
*******
标签:
原文地址:http://www.cnblogs.com/danbo/p/5274030.html