本例背景为：用PDI（Kettle）向Mysql数据库导入大量的日志分析数据，开始导入的速度300+r/s，通过设置如下JDBC的连接参数，明显提升了写入的速度。useServerPrepStmts=falserewriteBatchedStatements=trueuseCompression=true原理参考：http://forums.pentaho.com/showthread.p..
分类：
其他好文 时间：
2015-04-03 19:32:00
阅读次数：
191
pt-query-digest是percona-toolkit的一个组件percona-toolkit的下载地址http://www.percona.com/redir/downloads/percona-toolkit/LATEST/percona-toolkit-2.1.5-1.noarch.rpm我一般用它来分析mysql日志下面是使用它来分析日志的具体操作方法mysql版本：Serverversion:5.6.14-l..
分类：
其他好文 时间：
2015-04-03 15:40:46
阅读次数：
222
0.上传日志文件到linux中，通过flume将文件收集到hdfs中。
执行命令/home/cloud/flume/bin/flume-ng agent -n a4 -c conf -f /home/cloud/flume/conf/a4.conf -Dflume.root.logger=DEBUG,console
1.建立hive表
create external table bb...
分类：
Web程序 时间：
2015-03-28 08:51:36
阅读次数：
156
elk 日志分析系统Logstash+ElasticSearch+Kibana3
* logstash 管理日志和事件的工具
* ElasticSearch 搜索
* Kibana3 功能强大的数据显示客户端
* redis 缓存安装
logstash-1.4.2-1_2c0f5a1.noarch.rpm
elasticsearch-1.4.4.noarch.rpm
- logstash-...
分类：
其他好文 时间：
2015-03-20 12:59:41
阅读次数：
832
分析如下GC日志:[GC [PSYoungGen: 9216K->1024K(9216K)] 1246196K->1246220K(1287040K), 0.2398360 secs] [Times: user=0.29 sys=0.01, real=0.24 secs][Full GC [PSYo...
分类：
编程语言 时间：
2015-03-17 21:43:05
阅读次数：
218
分析如下GC日志:
[GC [PSYoungGen: 9216K->1024K(9216K)] 1246196K->1246220K(1287040K), 0.2398360 secs] [Times: user=0.29 sys=0.01, real=0.24 secs]
[Full GC [PSYoungGen: 1024K->0K(9216K)] [ParOldGen: 1245196K...
分类：
编程语言 时间：
2015-03-17 10:33:12
阅读次数：
189
业务系统性能优化的前提时观察和诊断，观察工具如下：
前端优化工具：YSlow
页面响应时间：Firebug
方法相应时间：btrace
GC日志分析：JVM 启动参数
数据库优化：慢查询
系统资源调用：监控...
分类：
编程语言 时间：
2015-03-15 13:53:19
阅读次数：
113
第一版：logstash + es第二版：kafka 替换 logstash的方案
分类：
其他好文 时间：
2015-03-09 22:23:07
阅读次数：
221
MySQL偶尔报2006错误已处理(ERROR:2006,‘MySQLserverhasgoneaway‘)。经过日志分析，这次报错的原因是单个SQL的数据太大，超过了默认值1M，将参数max_allowed_packed调整为16M不再报错。
分类：
数据库 时间：
2015-03-06 17:19:57
阅读次数：
130
三个实例演示 Java Thread Dump 日志分析
分类：
编程语言 时间：
2015-03-03 20:31:28
阅读次数：
251
