一、简介 Snappy（旧称：Zippy）是Google基于LZ77的思路用C++语言编写的快速数据压缩与解压程序库，并在2011年开源。其目标并非最大压缩率或与其他压缩程序的兼容性，而是非常高的速度和合理的压缩率。使用一个运行在64位模式下的酷睿i7处理器的单个核心，压缩速度250 MB/s，解压 ...
分类：
移动开发 时间：
2017-11-26 21:53:28
阅读次数：
249
Google 认为互联网用户的时间是宝贵的，他们的时间不应该消耗在漫长的网页加载中，因此在 2015 年 9 月 Google 推出了无损压缩算法 Brotli。Brotli 通过变种的 LZ77 算法、Huffman 编码以及二阶文本建模等方式进行数据压缩，与其他压缩算法相比，它有着更高的压塑压缩 ...
分类：
编程语言 时间：
2017-11-21 14:47:25
阅读次数：
209
同一文件，tar.xz格式比tar.gz格式小了三分之一！ 说明： xz是一个使用LZMA压缩算法的无损数据压缩文件格式。 和gzip与bzip2一样，同样支持多文件压缩，但是约定不能将多于一个的目标文件压缩进同一个档案文件。 相反，xz通常作为一种归档文件自身的压缩格式，例如使用tar或cpioU ...
分类：
系统相关 时间：
2017-11-20 20:16:34
阅读次数：
227
1、nginx简单说明 ① Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。其特点是占有内存少，并发能力强。 ② Nginx作为Http服务器，有以下几项基本特征： b.1 处理静态文件,索引文件以及自动索引，打 ...
分类：
其他好文 时间：
2017-11-04 13:25:47
阅读次数：
218
目的:每天定时将A服务器和B服务器上的数据压缩后备份到C服务器 1.选择免密码登陆 1.1分别在A,B服务器上的根目录下执行: --然后一直回车键.最后在~目录会生成 .ssh文件,里面有三个文件, authorized_keys:存放远程免密登录的公钥,主要通过这个文件记录多台机器的公钥 id_r ...
分类：
系统相关 时间：
2017-11-02 14:25:22
阅读次数：
272
进阶实践4: mapper,reducer输出数据压缩 应用场景 当mapper或者reducer的输出数量比较大，会影响shuffle阶段远程拷贝的网络性能，以及对存储容量的要求；这个时候可以考虑对mapper或者reducer的输出结果进行压缩 框架提供的压缩能力 能否指定压缩 能否指定压缩方式 ...
分类：
其他好文 时间：
2017-10-27 23:51:14
阅读次数：
180
大数据位图法（无重复排序，重复排序，去重复排序，数据压缩）之Java实现 位图法介绍 位图的基本概念是用一个位（bit）来标记某个数据的存放状态，由于采用了位为单位来存放数据，所以节省了大量的空间。举个具体的例子，在Java中一般一个int数字要占用32位，如果能用一位就表示这个数，就可以缩减大量的 ...
分类：
编程语言 时间：
2017-10-14 23:27:07
阅读次数：
834
6.5 Huffman 树 Huffman 树又称最优树，可以用来构造最优编码，用于信息传输、数据压缩等方面，是一类有着广泛应用的二叉树。 6.5.1 二叉编码树 在计算机系统中，符号数据在处理之前首先需要对符号进行二进制编码。例如，在计算机中使用的英文字符的 ASCII 编码就是 8 位二进制编码 ...
分类：
编程语言 时间：
2017-10-11 10:53:10
阅读次数：
279
地理数据库的类型 地理数据库的类型 地理数据库是用于保存数据集集合的“容器”。有以下三种类型： 比较三种类型的地理数据库 关键特征 ArcSDE 地理数据库 文件地理数据库 个人地理数据库 描述 在关系数据库中以表的形式保存的各种类型的 GIS 数据集的集合（为在关系数据库中存储和管理的 ArcGI ...
分类：
数据库 时间：
2017-09-27 21:49:13
阅读次数：
245
XZ的介绍 今天升级Python的时候，下载的Python-2.7.8.tar.xz安装包为xz格式，好吧，我又孤陋寡闻了，居然第一次遇见xz格式的压缩文件。搜索了一下资料，下面是xz的一些介绍： xz是一个使用 LZMA压缩算法的无损数据压缩文件格式。和gzip与bzip2一样，同样支持多文件压缩... ...
分类：
系统相关 时间：
2017-09-22 15:32:39
阅读次数：
393
