最近接到一个日志收集的需求，经过测试和修改，目前基本实现想要的功能，记录一下。 先说一下日志收集的需求，每隔1小时收集一次log日志，按照类别生成不同的lzo压缩文件，而且生成的日志要放在到前一个小时的目录中。 拿到这个需求先想到使用flume来进行日志收集，再用Interceptor进行过...
分类：
Web程序 时间：
2014-12-17 01:34:44
阅读次数：
280
今天dw组同事发邮件说有一个问题让帮解决一下，他们自己没能搞得定，以下问题解决过程：...
分类：
其他好文 时间：
2014-11-19 01:50:55
阅读次数：
281
需要的工具：centos6.5 -64bit 需要的软件：java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake ? 检测系统中是否已安装了某一软...
分类：
其他好文 时间：
2014-11-15 06:47:46
阅读次数：
240
今天微博大数据平台发邮件来说，他们有一个hql运行失败，但是从gateway上面的日志看不出来是什么原因导致的，我帮忙看了一下，最后找到了问题的原因，以下是分析过程...
分类：
其他好文 时间：
2014-10-13 19:48:57
阅读次数：
211
错误 1:/bin/sh: 1: lzop: not foundmake[2]: *** [arch/arm/boot/compressed/piggy.lzo] 错误 1make[2]: *** 正在等待未完成的任务....make[1]: *** [arch/arm/boot/compresse...
分类：
系统相关 时间：
2014-09-11 16:57:52
阅读次数：
545
hive 中使用lzo 1 启动hive 错误Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf at java.lang.Class.forName0(Na....
分类：
其他好文 时间：
2014-09-01 17:27:43
阅读次数：
545
环境：Centos6.4 64位Hadoop2.2.0Sun JDK1.7.0_45hive-0.12.0准备工作：yum -y install lzo-devel zlib-devel gcc autoconf automake libtool开始了哦！（1）安装LZOwget http://ww...
分类：
其他好文 时间：
2014-08-23 15:18:00
阅读次数：
1180
最近研究了下Spark如何读写压缩格式的文件，主要有如下三种方式，这里以lzo方式压缩为例/*******************oldhadoopapi*************************/
valconfHadoop=newJobConf
confHadoop.set("mapred.output.compress","true")
confHadoop.set("mapred.output.compression.c..
LZO压缩，可分块并行处理，解压缩的效率也是可以的。为了配合部门hadoop平台测试，作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器并配置lzo的文件：core-site.xml、mapred-site.xml。希望对大家有所帮助。以下是正...
分类：
其他好文 时间：
2014-07-17 22:01:19
阅读次数：
876
