目前架构：n台filebeat客户端来将每台应用上的日志传到kafka，3台kafka做集群用于日志队列，四台ES做集群，前两台存放近两天热数据日志，后两台存放两天前的历史日志，数据保存一个月，目前总数据量6T。logstash与kibana与ES在一台机器上，kibana访问域名三个kibana做轮询，目..
分类：
其他好文 时间：
2017-08-28 23:49:37
阅读次数：
837
pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOW PROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析. 下载： pt-query-digest是一个perl脚本，只需下载 ...
分类：
其他好文 时间：
2017-08-03 18:08:08
阅读次数：
232
版权声明：本文为博主原创文章，未经博主允许不得转载。 版权声明：本文为博主原创文章，未经博主允许不得转载。 工具简介 pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOWPROCESSLIST或者通过t ...
分类：
其他好文 时间：
2017-08-02 16:28:59
阅读次数：
258
慢查询日志是 Redis 提供的一个用于观察系统性能的功能 相关数据结构 每条慢查询日志都以一个 slowlog.h/slowlogEntry 结构定义： typedef struct slowlogEntry { // 命令参数 robj **argv; // 命令参数数量 int argc; / ...
分类：
其他好文 时间：
2017-07-29 15:26:42
阅读次数：
285
1.工具简介pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、Generallog、slowlog，也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中，分析过程是先对查询语句的条件进行参数化，然后对参数化以后的查..
分类：
其他好文 时间：
2017-07-07 10:15:27
阅读次数：
188
有一天开发突然照过来问，维萨我这个Redis实例这么慢呢？为什么这么慢，于是连上实例SLOWLOG 一看，这些慢日志都是大部分是RENMAE操作导致的，可是为什么RENAME操作会慢呢？不就是改个名字么？ 难道它还做了别的事？ 又或者学习Linux 的mv 操作？ 先copy 再DEL ？ 于是带着 ...
分类：
其他好文 时间：
2017-06-26 19:59:39
阅读次数：
204
pt-query-digest可以用来分析binlog、Generallog、slowlog，也可以通过showprocesslist或者通过tcpdump抓取的MySQL协议数据来进行分析用法：（1）直接分析slow日志：pt-query-digestINDEX01184W-slow.log>slow_report1.log（2）分析最近12小时内的查询：pt-query-digest--si..
分类：
其他好文 时间：
2017-06-03 00:50:10
阅读次数：
229
redis的slowlog是redis用于记录记录慢查询执行时间的日志系统。由于slowlog只保存在内存中，因此slowlog的效率很高，完全不用担心会影响到redis的性能。Slowlog是Redis从2.2.12版本引入的一条命令。 一、slowlog设置 slowlog有两种设置方式： 1、 ...
分类：
其他好文 时间：
2017-05-17 00:44:14
阅读次数：
225
性能瓶颈：慢、写速度比读速度慢很多主要的性能指标：访问频度，并发连接量，缓存命中率，index使用，slowlog开启与分析，queryLog，查询logThreads_cached：连接线程缓存是否开启->ONthread_cache_size：线程缓存数的大小query_cache_size：查询缓存大小join_buffer_size：..
分类：
数据库 时间：
2017-02-28 23:16:46
阅读次数：
299
#!/bin/bashLOG=/diskb/mysql/slowlog/#定义日志存储路径DATE=`date+"%Y-%m-%d"`#定义时间参数user=root#填写MySQL账户信息passwd=123456mysql-u$user-p$passwd-e"setglobalslow_query_log=0"#停止mysql慢查询日志mysql-u$user-p$passwd-e"setglobalslow_query_log_file=‘${LOG..
分类：
数据库 时间：
2017-02-25 21:55:00
阅读次数：
239
