码迷,mamicode.com
首页 > 其他好文 > 详细

elk示例-精简版2

时间:2016-03-13 23:54:35      阅读:348      评论:0      收藏:0      [点我收藏+]

标签:

作者:Danbo 时间:2016-03-13

1.保存进Elasticsearch

Logstash可以试用不同的协议实现完成将数据写入Elasticsearch的工作,本节中介绍HTTP方式。

配置示例:

output {
    elasticsearch {
        hosts => ["192.168.0.2:9200"]
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        document_type => "%{type}"
        workers => 1
        flush_size => 20000
        idle_flush_time => 10
        template_overwrite => true
    }
}

解释:

批量发送

flush_size 和 idle_flush_time 共同控制Logstash向 Elasticsearch发送批量数据的行为。上面的示例说明:Logstash会将数据攒到20k条数据然后一次性发送出去,并且设置最大老化时间为10s。

默认情况下:flush_size 是500条,idle_flush_time是1s,注意,这点也是很多人单改大flush_size 也没能提高ES性能的原因。

索引名

写入的ES索引的名称,这里可以使用变量。为了更贴合日志场景,Logstash 提供了%{+YYYY.MM.dd} 这种写法。在语法解析的时候,看到以+号开头的,就会自动认为后面是时间格式,尝试用时间格式来解析后续字符串。

索引名中不能有大写字母,否则ES在日志中会报错InvalidIndexNameException,但是Logstash不会报错。

 

模板

Elasticsearch支持给索引预定义设置和mapping。logstash自带有一个优化好的模板。内容如下:

技术分享

其中的关键设置包括

template for index-pattern

只匹配logstash-* 的索引才会应用这个模板。有时候我们会变更Logstash的默认索引名称,记住也得通过PUT方式上传可以匹配你自定义索引名的模板。当然,更建议的做法是,把自定义的名称放在"logstash-"后面,变成index => "logstash-custom-%{+yyyy.MM.dd}"

refresh_interval for indexing 

Elasticsearch 是一个近实时搜索引擎。它实际上是每1s 刷新一次数据。对于日志分析应用我们用不着那么实时,所以logstash自带的模板修改成了5s,其实还可以继续提高这个刷新间隔以提高数写入性能。

multi-field with not_analyzed

Elasticsearch 会自动使用自己的默认分词器(空格,点,斜线等分隔)来分析字段。分词器对于搜索和评分是非常重要的,但是大大降低了索引写入和聚合请求的性能。所以logstash模板定义了一种叫“多字段”(multi-field)类型的字段,并给这个字段设置为不启用分词器。也就是当你想获取url字段的聚合结果的时候,不要直接用“url”,而是用“url.raw”作为字段名。

geo_point

Elasticsearch 支持geo_point 类型,geo distance 聚合等等,比如说,你可以请求某个geo_point 点方圆10km内的数据点的总数。

doc_values

doc_values 是Elasticsearch 1.0版本引入的新特性。启用该特性的字段,索引写入的时候回在磁盘上构建fielddata。doc_values 只能给不分词(对于字符串字段就是设置了 “index ”)

 

 

 

 

 

*******

elk示例-精简版2

标签:

原文地址:http://www.cnblogs.com/danbo/p/5274030.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!