有些日志（比如apache）不像nginx那样支持json可以使用grok插件 grok利用正则表达式就行匹配拆分 预定义的位置在 /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns apa ...
分类：
Web程序 时间：
2017-06-22 23:55:34
阅读次数：
388
（一）含义：logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好，非常简洁强大，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。当然它可以单独出现，作为日志收集软件，你可以收..
分类：
其他好文 时间：
2017-05-22 21:26:23
阅读次数：
266
收集和分析日志是应用开发中至关重要的一环，互联网大规模、分布式的特性决定了日志的源头越来越分散， 产生的速度越来越快，传统的手段和工具显得日益力不从心。在规模化场景下，grep、awk 无法快速发挥作用，我们需要一种高效、灵活的日志分析方式，可以给故障处理，问题定位提供更好的支持。 基于全文搜索引擎 ...
分类：
其他好文 时间：
2017-04-12 11:10:49
阅读次数：
482
管理工具 HBase ShellHBase Shell是HBase组件提供的基于JRuby IRB的字符界面的交互式客户端程序，通过HBase Shell可以实现对HBase的绝大部分操作 通过help ["group-name"]命令，可以获取该组包含命令的详细使用说明 hbck工具hbck工具对 ...
分类：
其他好文 时间：
2017-04-01 20:27:50
阅读次数：
343
grok作为一个logstash的过滤插件，支持根据模式解析文本日志行，拆成字段。 nginx日志的配置： logstash中grok的正则（添加在logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-xxx/patterns/gr ...
分类：
其他好文 时间：
2017-03-30 17:09:11
阅读次数：
972
新版插件:说明:从5.0开始,插件都独立拆分成gem包,每个插件可独立更新,无需等待Logstash自身整体更新,具体管理命令可参考./bin/logstash-plugin--help帮助信息../bin/logstash-pluginlist其实所有的插件就位于本地./vendor/bundle/jruby/1.9/gems/目录下扩展:如果GitHub上面(htt..
分类：
其他好文 时间：
2016-12-19 22:20:18
阅读次数：
284
新版插件:说明:从5.0开始,插件都独立拆分成gem包,每个插件可独立更新,无需等待Logstash自身整体更新,具体管理命令可参考./bin/logstash-plugin--help帮助信息../bin/logstash-pluginlist其实所有的插件就位于本地./vendor/bundle/jruby/1.9/gems/目录下扩展:如果GitHub上面(htt..
分类：
其他好文 时间：
2016-12-19 22:19:52
阅读次数：
393
我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据（remote_addr），但是只有这个IP还不够，要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。GeoIP ...
分类：
其他好文 时间：
2016-12-17 13:47:31
阅读次数：
356
[hadoop@HadoopSlave1 conf]$ cat regionservers HadoopMasterHadoopSlave1HadoopSlave2 <configuration> <property> <name>hbase.zookeeper.quorum</name> <val ...
Aviator是一个高性能、轻量级的 java 语言实现的表达式求值引擎, 主要用于各种表达式的动态求值。现在已经有很多开源可用的 java 表达式求值引擎,为什么还需要 Avaitor 呢? Aviator的设计目标是轻量级和高性能,相比于Groovy、JRuby的笨重, Aviator非常小, ...
分类：
其他好文 时间：
2016-12-08 21:10:39
阅读次数：
375
