在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。 lzo本身不是splitable的，所以当数据为t ...
分类：
其他好文 时间：
2016-09-12 20:30:14
阅读次数：
205
LZO说明 摘要 LZO 是一个用 ANSI C 语言编写的无损压缩库。他能够提供非常快速的压缩和解压功能。解压并不需要内存的支持。即使使用非常大的压缩比例进行缓慢压缩出的数据，依然能够非常快速的解压。LZO 遵循 GNU 的 GPL 使用许可。 介绍 LZO 非常适合进行数据的实时压缩解压处理，这 ...
分类：
其他好文 时间：
2016-09-05 20:57:18
阅读次数：
186
如果已经有了lzo文件，可以采用如下方法添加索引： bin/yarn jar /module/cloudera/parcels/GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27/lib/hadoop/lib/hadoop-lzo-0.4.15-cdh5.4.0.jar com.had ...
分类：
其他好文 时间：
2016-08-15 17:11:16
阅读次数：
235
1、环境安装 gcc、gcc-c++、make、cmake、svn yum install lzo-devel zlib-devel gcc gcc-c++ make cmake autoconf automake libtool ncurses-devel openssl-devel 2、jdk的... ...
分类：
其他好文 时间：
2016-08-14 14:42:38
阅读次数：
232
