本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」 废话不多说，老司机们座好了，我们准备发车了~~~ 整体架构 整体架构主要分为 4 个模块，分别提供不同的功能 Filebeat： ...
分类：
其他好文 时间：
2019-02-02 14:34:07
阅读次数：
201
Centos7+kafka+ELK6.5.x安装搭建 1 数据的流向 数据源端使用logstash收集udp 514日志输出到kafka中做测试（可选择filebeat，比较轻量级、对CPU负载不大、不占用太多资源；选择rsyslog对 kafka的支持是 v8.7.0版本及之后版本）。如下流程： ...
分类：
其他好文 时间：
2019-01-31 01:30:53
阅读次数：
298
前言 Elastic Stack 提供 Beats 和 Logstash 套件来采集任何来源、任何格式的数据。其实Beats 和 Logstash的功能差不多，都能够与 Elasticsearch 产生协同作用，而且 logstash比filebeat功能更强大一点，2个都使用是因为：Beats 是 ...
分类：
其他好文 时间：
2019-01-28 13:55:25
阅读次数：
528
ELK提供了一系列采集方案。但对于从app端过来的日志，没有接收模块。一种方案可以用logstash打开socket端口接收，需要客户端配合。这里提供通过http的方案。接收服务器采用springboot实现收集，发送日志到kafka。也可以直接写文件，用fileBeat读取发送到kafka。从ka ...
分类：
其他好文 时间：
2019-01-24 17:56:53
阅读次数：
128
线要素是是一个1维的空间数据，每个线要素一组单线(paths)，每条单线包含着一组点(n≥2)。 这里与OGC、JTS不同的是，Esri更喜欢用一个Polyline表示多线元素，单线 = 只有一个元素的多线，而不喜欢把Line和MultiLine单独分开。 线要素由一组点要素组成,这些点要素被分为三 ...
分类：
编程语言 时间：
2019-01-22 00:32:59
阅读次数：
357
正则字符正则解释 \ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“\n”匹配字符“n”。“\\n”匹配一个换行符。序列“\\”匹配“\”而“\(”则匹配“(”。 ^ 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配 ...
分类：
Web程序 时间：
2019-01-16 20:40:51
阅读次数：
199
Filebeat 导入 Elastaticsearch 的方法 1. 什么是Filebeat？到底是干什么的？ Filebeat说实话，就是一个日志监控分发器，类似tail f这样去监控某个日志，或者是某个目录下的日志文件。它会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的 ...
分类：
其他好文 时间：
2019-01-11 11:46:26
阅读次数：
519
Regex regFileIds = new Regex(@"\bfileIds=(.*?)\b\""", RegexOptions.Multiline); //\b;fileIds(.*?)\b\" var fieldMatchs = regFileIds.Matches(valueStr); f ...
分类：
其他好文 时间：
2019-01-04 12:14:43
阅读次数：
194
安装filebeat报错： curl: (35) SSL connect errorerror: https://packages.elastic.co/GPG-KEY-elasticsearch: import read failed(2). 解决方案： wget https://packages ...
分类：
Web程序 时间：
2019-01-01 16:07:00
阅读次数：
633
filebeat的环境搭建 修改配置文件 启动 借鉴https://www.cnblogs.com/xishuai/p/elk-elasticsearch-kibana-logstash-filebeat-log4j2.html ...
分类：
其他好文 时间：
2018-12-27 20:19:18
阅读次数：
282
