数据仓库作为企业提供决策支持而构建的集成化数据环境，本身并不产生或者消费数据，基本架构包含的是数据流入流出的过程，首先放上一张数据仓库的架构图。数据仓库作为中间集成化数据管理的一个平台，底层有多种数据来源，流入数据仓库之后对上层应用开放。 1、分析业务需求，确定数据仓库主题 数据模型的创建依赖数据仓 ...
分类：
其他好文 时间：
2018-07-25 15:15:40
阅读次数：
180
介绍ELK 它是一个解决方案，是Logstash、Elastaicsearch、Kibana的缩写，为什么使用：想想你是很多系统，出了问题还要登录到服务器查看日志、或者系统部署在客户的机器上，你甚至没有权限登录到别人服务器，作为开发人员又要修复bug！！再者，我们日志可以根据日志级别做分析，Kiba ...
分类：
Web程序 时间：
2018-07-24 10:15:37
阅读次数：
521
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash。 Elastic ...
分类：
其他好文 时间：
2018-07-20 11:29:54
阅读次数：
195
我是用ElasticSearch的版本是elasticsearch-6.3.1 mysql的数据是5.7的,其实这个关系不大。 logstash版本是6.3.1 ElasticSearch的插件elasticsearch-head-master ，现在加压好了，直接放在ElasticSearch目录 ...
分类：
数据库 时间：
2018-07-16 21:08:08
阅读次数：
1317
logstash收集syslog日志注意：生产用syslog收集日志！！！ 编写logstash配置文件 Kibana设置 看hand插件上我们能看到system-syslog索引 Kibana上添加system-syslog索引 完美 ...
分类：
其他好文 时间：
2018-07-16 11:18:55
阅读次数：
1003
logstash收集nginx访问日志 安装nginx 浏览器访问：http://192.168.247.135/ 查看nginx日志 编写logstash #添加--configtest参数检查配置语法是否有误！！！[root@elk-node1 ~]# /opt/logstash/bin/log ...
分类：
其他好文 时间：
2018-07-15 21:16:44
阅读次数：
193
CentOS7搭建ELK6.0.11.准备工作：源码包路径：/usr/local/src/elasticsearch：elasticsearch-6.0.1.tar.gzkibana：kibana-6.0.1-linux-x86_64.tar.gzlogstash：logstash-6.0.1.tar.gzjdk：jdk-8u65-linux-x64.gz2.安装java环境cd/usr/loca
分类：
其他好文 时间：
2018-07-14 18:46:41
阅读次数：
257
在使用elk 传输记录 java 日志时，如下 一个java的报错 在elk中会按每一行 产生多条记录，不方便查阅 这里修改配置文件 使用 multiline 插件 即可实现多行合一的 输出模式 修改配置文件 修改完 重启logstash报错： 提示缺少 插件 filters/multiline 我 ...
分类：
其他好文 时间：
2018-07-13 18:57:13
阅读次数：
1387
logstash对nginx日志进行解析过滤转换等操作；配置可以用于生产环境，架构为filebeat读取日志放入redis，logstash从redis读取日志后进行操作；filter{json{source=>"message"remove_field=>"message"}useragent{source=>"agent"target=>"agent"remove_fi
分类：
其他好文 时间：
2018-07-13 11:13:09
阅读次数：
188
【大数据实战】Logstash采集->Kafka->ElasticSearch检索 https://www.cnblogs.com/snova/p/9203425.html ...
分类：
其他好文 时间：
2018-07-08 17:18:23
阅读次数：
118
