可见由配置文件path.data决定[root@masteretc]#cat/usr/local/elasticsearch/config/elasticsearch.yml|egrep-v"^$|^#"path.data:/tmp/elasticsearch/datapath.logs:/tmp/elasticsearch/logsnetwork.host:192.168.100.10network.port:9200[root@masteretc]#du-s/tmp/elasticsea..
分类:
其他好文 时间:
2016-05-15 20:05:24
阅读次数:
2333
在索引的位置处有一句很明显的英文:Thispagelistseveryfieldinthelogstash-*indexandthefield‘sassociatedcoretypeasrecordedbyElasticsearch.Whilethislistallowsyoutoviewthecoretypeofeachfield,changingfieldtypesmustbedoneusingElasticsearch‘sMappingAPI如果你想要自定..
分类:
移动开发 时间:
2016-05-15 12:38:42
阅读次数:
819
最近在搭建日志收集平台,将linux的部分日志收集到elasticsearch上通过kibana进行搜索展现,基本上是标准的ELK架构,但是agent端复用了已有的flume。在功能测试的时候,是将本地messages日志备份出来对备份的日志进行了切割测试。经过一周测试终于完成了,当时的内心是: 日 ...
分类:
其他好文 时间:
2016-05-13 21:54:37
阅读次数:
229
很多时候我们需要对日志做一个集中式的处理,但是通常情况下这些日志都分布到n台机器上面,导致一个结果就是效率比较低,而ELK平台可以帮助我们解决这么一件事情; ELK下载:https://www.elastic.co/downloads/ 组件说明: 1)Elasticsearch是个开源分布式搜索引 ...
分类:
其他好文 时间:
2016-05-13 12:05:04
阅读次数:
241
一、架构方案如下图: 二、各个组件的安装方案如下: 1)、zookeeper+kafka http://www.cnblogs.com/super-d2/p/4534323.html 2)hbase http://www.cnblogs.com/super-d2/p/4755932.html 3)f ...
分类:
Web程序 时间:
2016-05-13 11:35:01
阅读次数:
1127
举例:a.搜索domainname为search.s.d.pa.com的domainname:search.s.d.pa.com写法或者domainname:"search.s.d.pa.com"b.搜索状态为400的或者200的status:404c.范围值有status:[400TO499]多个条件查找status:500ANDremote_addr:123.125.71.12或者status:500ANDremote_addr:"123.12..
分类:
其他好文 时间:
2016-05-12 00:09:05
阅读次数:
339
一、ELK说明二、架构图三、规划说明四、安装部署nginx+logstash五、安装部署redis六、安装部署logstashserver七、安装部署elasticsearch集群八、安装kibana一、ELK说明ELKStack是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合..
分类:
其他好文 时间:
2016-05-11 20:03:24
阅读次数:
358
【背景】我们要统一收集日志,统一分析,统一在一个平台上搜索过滤日志!在上一篇中已经完成了ELK的搭建,那么该如何将每台客户端的日志集中到ELK平台中呢?【本系统介绍】ELK--192.168.100.10(这个地方要有FQDN创建SSL证书的时候需要配置FQDN,www.elk.com)被收集日志的客户端..
分类:
其他好文 时间:
2016-05-10 23:48:15
阅读次数:
2647
[root@localhostetc]#catplat_interface_info.conf
input{
file{
type=>"234_plat_inter_info_log"
path=>["/opt/log/plat_inter_info.*.log"]
codec=>"json"
}
}
filter{
if[type]=="234_plat_inter_info_log"
{
if[level]=="ERROR"
{
mutate{
add_tag=>"email"
}..
分类:
Web程序 时间:
2016-05-10 11:13:00
阅读次数:
716
最近在搭建ELK平台,kibana是用tar包直接解压缩使用的方式安装的。但是安装完成后遇到一个问题就是如何让kibana后台运行,并且当断开ssh连接后,让能继续运行。后台想到了nohup命令。nohup用法:root@localhost:~#mannohup
NOHUP(1)UserCommandsNOHUP(1)
NAME
nohup-runacomman..
分类:
其他好文 时间:
2016-05-09 11:14:13
阅读次数:
213