纵观任何一家大数据平台的技术架构，总少不了ElasticSearch；ES作为溶合了后端存储、快速检索、OLAP分析等功能的一套开源组件，更绝的是提供了一套集数据采集与前端展现为一体的框架（即ELK）， 在我们的应用过程中，与ES集成的前端框架包含有Kibana、Grafana等系统，实际应用过程中 ...
分类：
其他好文 时间：
2019-01-23 17:33:14
阅读次数：
1039
Logstash最强大的功能在于丰富的过滤器插件。此过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理。甚至添加独特的事件到后续流程中。 1、logstash基本语法组成 logstash主要由三部分组成：input、filter、output。而filter就是过滤器 ...
分类：
其他好文 时间：
2019-01-22 15:08:46
阅读次数：
246
一、在进行java操作elasticsearch之前，请确认好集群的名称及对应的ES节点ip和端口 1、查看ES的集群名称 2、查询ip 二、根据文档id查询数据 在kibana中查询id为1的结果为： java控制台输出的结果为： 三、插入数据 1、在插入数据之前，需要使用kibana在es中建立 ...
分类：
编程语言 时间：
2019-01-21 01:09:32
阅读次数：
738
Docker的Remote Api并不是1.12才有的，Docker1.12的Remote Api升到了1.24。Remote api的使用在1.12中没有大的变化，稍微大一点的变化是到这个版本之后，二进制文件分裂成了主client的docker以及主server的dockerd了。在centos上 ...
下载logstash-6.5.4 ZIP解压和es 放到es根目录下 下载mysql jdbc的驱动 mysql-connector-java-8.0.12 创建配置文件 mysqltoes.conf 放在logstash-6.5.4\bin目录下 input { stdin { } jdbc { ...
分类：
数据库 时间：
2019-01-18 18:33:43
阅读次数：
645
1.flume的基础介绍（1）常用的数据收集工具 -Chukwa（Apache） -Scribe（Facebook） -Fluentd：Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。 -Logstash（著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中
分类：
Web程序 时间：
2019-01-17 14:09:05
阅读次数：
215
ambari的hdp中原生不支持elasticsearch安装，下面介绍如何通过mpack方式使ambari支持elasticsearch安装 安装过程 1 下载 Mpack include version 6.3.2 of ElasticSearch, Logstash, Kibana, File ...
分类：
其他好文 时间：
2019-01-17 14:00:01
阅读次数：
769
Filter grok：进行正则匹配 ruby：使用ruby代码调整输出内容 kv：进行基于单一分隔符的键值匹配 date：时间匹配到·timestamp mutate：调整输出 Output 待续 ...
分类：
其他好文 时间：
2019-01-17 12:46:24
阅读次数：
195
访问 http://192.168.6.77:5601 ...
分类：
其他好文 时间：
2019-01-16 11:44:26
阅读次数：
159
开发者在面对 kubernetes 分布式集群下的日志需求时，常常会感到头疼，既有容器自身特性的原因，也有现有日志采集工具的桎梏，主要包括： 容器本身特性： 采集目标多：容器本身的特性导致采集目标多，需要采集容器内日志、容器 stdout。对于容器内部的文件日志采集，现在并没有一个很好的工具能够去动 ...
分类：
Web程序 时间：
2019-01-15 20:33:30
阅读次数：
376
