Spark性能优化的10大问题及其解决方案 近期优化了一个spark流量统计的程序，此程序跑5分钟小数据量日志不到5分钟，但相同的程序跑一天大数据量日志各种失败。经优化，使用160 vcores + 480G memory，一天的日志可在2.5小时内跑完，下面对一些优化的思路方法进行梳理。 近期优化 ...
分类：
其他好文 时间：
2017-12-13 19:43:01
阅读次数：
227
Spring定时任务的几种实现 近日项目开发中需要执行一些定时任务，比如需要在每天凌晨时候，分析一次前一天的日志信息，借此机会整理了一下定时任务的几种实现方式，由于项目采用spring框架，所以我都将结合 spring框架来介绍。 一．分类 从实现的技术上来分类，目前主要有三种技术（或者说有三种产品 ...
分类：
编程语言 时间：
2017-12-04 20:27:53
阅读次数：
210
不对时间进行格式化处理时 对时间进行格式化处理后 可见redis和直接的fmt输出到文件，速度差了十倍左右 但用redis存日志查起来比较容易查，还可以将日期附加到key里区分每一天的日志，具体用文件存储还是redis按需求来 ...
分类：
其他好文 时间：
2017-07-30 23:40:21
阅读次数：
152
转自：http://gong1208.iteye.com/blog/1773177 近日项目开发中需要执行一些定时任务，比如需要在每天凌晨时候，分析一次前一天的日志信息，借此机会整理了一下定时任务的几种实现方式，由于项目采用spring框架，所以我都将结合 spring框架来介绍。 一．分类 从实现 ...
分类：
编程语言 时间：
2017-07-27 16:02:38
阅读次数：
193
http://gong1208.iteye.com/blog/1773177 Spring定时任务的几种实现 近日项目开发中需要执行一些定时任务，比如需要在每天凌晨时候，分析一次前一天的日志信息，借此机会整理了一下定时任务的几种实现方式，由于项目采用spring框架，所以我都将结合 spring框架 ...
分类：
编程语言 时间：
2017-07-18 15:39:00
阅读次数：
204
Spring定时任务的几种实现： 近日项目开发中需要执行一些定时任务，比如需要在每天凌晨时候，分析一次前一天的日志信息，借此机会整理了一下定时任务的几种实现方式，由于项目采用spring框架，所以我都将结合 spring框架来介绍。 一．分类 从实现的技术上来分类，目前主要有三种技术（或者说有三种产 ...
分类：
编程语言 时间：
2017-07-04 21:53:57
阅读次数：
200
nginx站点中access和error使用的都是默认的日志格式，日志文件命名如下：www.xxxx.com.access.logwww.xxxx.com.error.log脚本每天处理前一天的日志记录，将日志重新放在压缩文件中，并按月份存放，如下：201611/www.xxxx.com.access.20161102.log.zip201611/www.xxxx.com.error..
分类：
系统相关 时间：
2016-11-06 00:04:02
阅读次数：
303
Spring定时任务的几种实现 近日项目开发中需要执行一些定时任务，比如需要在每天凌晨时候，分析一次前一天的日志信息，借此机会整理了一下定时任务的几种实现方式，由于项目采用spring框架，所以我都将结合 spring框架来介绍。 一．分类 从实现的技术上来分类，目前主要有三种技术（或者说有三种产品 ...
分类：
编程语言 时间：
2016-09-28 16:16:17
阅读次数：
292
项目开发中经常需要执行一些定时任务，比如需要在每天凌晨时候，分析一次前一天的日志信息，借此机会整理了一下定时任务的几种实现方式，由于项目采用spring框架，所以我都将结合spring框架来介绍。一．分类从实现的技术上来进行分类，目前主要有三种技术（或者说有三种产品）..
分类：
编程语言 时间：
2016-08-26 23:12:44
阅读次数：
448
公司使用腾讯cdn为网站静态内容加速，由于业务需求，需要每天下载昨天的日志（因为腾讯方面给出回复，访问日志会有2个小时或以上时间的延迟，所以不建议下载当天日志，所以每天统计前一天的日志以做分析）。因为cdn是由运维来管理，但是这个需求是业务的，如果每天都由运维进行..
