上午没去上班，请假考嵌入式。 下午1点30到公司，签完到在在2楼B区买了杯冰咖啡，到了工位开始工作。 下午把Python的正则表达式给看完了，然后就是接着昨天的分析日志。同事姐姐和我说产品发布以后我们不能再访问数据库，只能通过后台的日志信息来定位问题。所以当前我们分析日志就是为了确定以后能准确地定位 ...
分类：
其他好文 时间：
2016-06-30 21:48:34
阅读次数：
152
上午依旧没有任务，复习了一上午的嵌入式。啊，这带薪复习的生活。 中午吃饭的时候，师父劝我毕业之前一定要来场旅行，工作之后你的时间不属于你。 下午帮同事分析日志的信息，主要是记录一些大容量的日志以及分析这些日志是否符合需求。 4点钟的时候，参加部门的民主生活会，玩了两个小时。去了先吃一顿水果，然后玩着 ...
分类：
其他好文 时间：
2016-06-29 20:31:08
阅读次数：
109
对于日志存储，我们记录了sql执行的时间和sql语句，但是怎么分析日志呢。 我们可以将内容转化为csv格式的文件，这样文件就可以在excel中进行分析了。 进行排序操作等。 csv格式转化： 在txt文件中，我们使用如下的格式存储内容 这里的逗号是英文逗号，使用双引号可以表示一个格子而不会翻译逗号和 ...
分类：
其他好文 时间：
2016-06-22 10:49:19
阅读次数：
126
系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。日志的作用不言而喻，但对于数量庞大且分布在多台机器上的日志，查看就显得特别麻烦了。所以，对于运..
分类：
系统相关 时间：
2016-06-21 14:07:54
阅读次数：
387
1：Web日志分析系统概述
2：需求分析：日志提取预处理，KPI指标设计，存储与展现
3：算法模型：Hadoop并行算法
4：架构设计：用Maven构建hadoop项目
5：程序实现：MR2V程序实现
6：结果可视化
一：Web日志分析系统概述
Web日志由Web]服务器产生，可能是Nginx，Apache，Tomcat等，从Web日志中我们可以提取到很多有用的信息，比如说网...
分类：
Web程序 时间：
2016-05-27 02:04:17
阅读次数：
226
显示前10000行中包含 /859 的记录 增加 |wc -l 则改为输出记录数 显示包含“/859”的记录按降序排序，并输出非重复记录的记录数 ...
分类：
系统相关 时间：
2016-05-26 12:55:21
阅读次数：
142
代码LogRecord 类：case class LogRecord (
clientIpAddress: String,
rfc1413ClientIdentity: String,
remoteUser: String, `
dateTime: String, //[day/month/year:...
分类：
其他好文 时间：
2016-05-18 19:12:52
阅读次数：
135
提示：根据web日志或者或者网络连接数，监控当某个IP并发连接数或者短时内PV达到100即调用防火墙命令封掉对应的IP，监控频率每隔3分钟防火墙命令为：iptables-AINPUT-s10.0.1.10-jDROP思路：1.分析日志，提取IP和PV数2.while语句，读取提取到的IP和PV数，并实现3分钟循环一次3...
分类：
系统相关 时间：
2016-05-16 11:11:40
阅读次数：
386
分析日志的包自己编译下：sbt compile
sbt test
sbt package
ApacheLogParser.jar对于访问日志简单分析grep等利器比较好，但是更复杂的查询就需要Spark了。代码：import com.alvinalexander.accesslogparser._
val p = new AccessLogParser
val log = sc.textFile("...
分类：
Web程序 时间：
2016-05-15 02:35:45
阅读次数：
241
-------------分析日志-------------
1.先停止复制进程：
dbadmin@(none) 08:05:45>stop slave;
Query OK, 0 rows affected (0.10 sec)
2.查看丛库的状态及复制点坐标：
dbadmin@(none) 08:05:52>show slave status \G
***************...
分类：
其他好文 时间：
2016-05-12 16:36:17
阅读次数：
340
