恩,这个问题,反正是我从来没有注意的问题,但今天还是写出来吧 配置信息 hadoop core-site.xml配置 <property>
???<name>io.compression.codecs</name>
????????<value>org.apache.hadoop.io.compress....
分类：
编程语言 时间：
2015-09-17 15:39:10
阅读次数：
419
hadoop对于压缩文件的支持及算法优缺点 hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们 将压缩的文件解压，而不用我们去关心。 如果我们压缩的文件有相应压缩格式的扩展名(比如lzo，gz，bzip2等)，hadoop就会根据扩展名...
分类：
编程语言 时间：
2015-08-20 10:27:43
阅读次数：
172
1 Centos 6.5 编译hadoop2.7.1 主机配置： sudo yum install gcc gcc-c++ sudo yum install ncurses-devel sudo yum -y install lzo-devel zlib-devel autoconf automak...
分类：
其他好文 时间：
2015-07-19 16:27:07
阅读次数：
217
常见数据压缩算法压缩文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要，那么我现在就先来了解下hadoop中的文件压缩。hadoop里支持很多种压缩格式，我们看一个表格：
LZO和LZ4算法已经不在Hadoop1.x中使用了。1、DEFLATE是同时使用了LZ77与哈夫曼编码的一个无损数据压缩算法，
源代码可以在zlib...
分类：
编程语言 时间：
2015-06-05 21:17:42
阅读次数：
354
hbase只支持对gzip的压缩,对lzo压缩支持不好。在io成为系统瓶颈的情况下，一般开启lzo压缩会提高系统的吞吐量。但这需要参考具体的应用场景，即是否值得进行压缩、压缩率是否足够等等。
想要hbase支持lzo压缩，参照以下步骤：
1 首先要让系统支持lzo动态库，安装lzo-2.00以上版本：http://www.oberhumer.com/opensource/lzo/dow...
分类：
其他好文 时间：
2015-06-02 17:52:53
阅读次数：
141
1、为map中间输出启用压缩。 ? ? ? 一般对于中间输出压缩采用低压缩比，高压缩解压缩速度的压缩算法，如LZO,Snappy? ? ? set hive.exec.compress.intermediate=true; ? ? set mapred.map.output.compress...
分类：
其他好文 时间：
2015-04-27 08:20:51
阅读次数：
192
