分布式部署 前期方案：web服务器(1台) + 阿里云mysql数据库(2节点) + uploads文件转移到oss文件服务器（先不删除服务器上文件）最终方案：web服务器(多台) + 阿里云mysql数据库(4+节点) + 阿里云Elasticsearch(多节点) + 阿里云Logstash分布 ...
分类：
其他好文 时间：
2020-05-18 12:34:55
阅读次数：
76
查看日志rsyslogd是否启动和自启动 ps aux | grep rsyslogd 查看自启动（CentOS 7使用，CentOS 6可以使用chkconfig命令） systemctl list-unit-files | grep rsyslog 常见日志及其作用 ...
分类：
系统相关 时间：
2020-05-17 13:35:10
阅读次数：
68
基础概念 Kafka最初是由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，可以实时的处理大量数据以满足各种需求场景：基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎、web/nginx日志、访问日志、消息服 ...
分类：
其他好文 时间：
2020-05-16 00:14:31
阅读次数：
73
命令行标记 Logstash有以下标记，你可以使用--help标志来显示此信息。 --node.name NAME 指定此Logstash实例的名称，如果没有赋值，它将默认为当前主机名。 -f, --path.config CONFIG_PATH 从特定的文件或目录加载Logstash配置，如果给定 ...
分类：
其他好文 时间：
2020-05-15 15:41:36
阅读次数：
93
第一部分 概括 ELK是集分布式数据存储、可视化查询和日志解析于一体的日志分析平台。ELK=elasticsearch+Logstash+kibana，三者各司其职，相互配合，共同完成日志的数据处理工作。ELK各组件的主要功能如下： elasticsearch，数据存储以及全文检索； logstas ...
分类：
数据库 时间：
2020-05-14 02:03:08
阅读次数：
148
rsyslog+mariadb+loganalyzer一个可以使用web页面查看日志的架构环境准备：与前面课程提到的集中式日志服务器的架构一样，只是这个架构是在server上搭建的，也就是IP地址为192.168.1.55的这台主机上server端的环境准备和设置setp1安装所需要的软件包[root@localhost~]#dnfinstallmariadbmariadb-serverrsysl
分类：
Web程序 时间：
2020-05-14 01:40:44
阅读次数：
220
任务：从es集群a,b,c 。。。把数据迁移到新es集群d,e,f 迁移数据只是复制 需要额外3台服务器，分别部署新es集群d,e,f 和 单点logstash是迁移通道 和 kibana查询工具 （集群es复制到单点es，没试过，改天试一下） 具体部署步骤可以自行百度 或者 看我之前的随笔 主要是 ...
分类：
其他好文 时间：
2020-05-13 19:52:47
阅读次数：
157
测试环境： Linux服务器IP：192.168.3.8 交换机IP：192.168.3.123 服务器配置： 1.安装rsyslog yum install rsyslog -y 2.修改配置文件 vim /etc/rsyslog.conf 打开rsyslog的TCP/UDP 514端口 配置日志 ...
分类：
系统相关 时间：
2020-05-12 11:31:12
阅读次数：
96
logstash和elasticsearch是按照UTC时间的，kibana却是按照正常你所在的时区显示的，是因为kibana中可以配置时区信息。 具体看这个： 有如下两种解决办法： 1.jdbc_connection_string配置上使用CTT(Asia/shanghai)时间 或者 2.新增时 ...
分类：
数据库 时间：
2020-05-11 11:42:53
阅读次数：
299
文本是在window下搭建单机版的ELK,ES用到的版本是2.4.0（为什么用这个版本，很大一个原因是能直接用自带插件工具去下载es_head插件，非常方便），logstash用的版本是7.6.2（亲自踩坑2.4.0，足足花了一个早上，发现用2.4.0报缺少log4j和无法读取日志文件），kiban ...
