为了满足不同应用的需求，JPEG标准包括两种基本的压缩方法：1.基于DCT变换的有损压缩算法；2.基于预测方法的无损压缩算法。基于DCT的基线系统有损压缩技术是到目前为止应用最为广泛的一种压缩方法。
1.基于DCT有损压缩技术
下面是编码器和解码器的流程图，压缩过程：原图分成8×8的子块，分别进行正向离散余弦变换(FDCT)，对每个8×8子块的系数采用量化表进行量化，最后使用熵编码，输出...
分类：
其他好文 时间：
2015-12-24 20:57:04
阅读次数：
297
Huffman算法也是一种无损压缩算法，但与上篇文章LZW压缩算法不同，Huffman需要得到每种字符出现概率的先验知识。通过计算字符序列中每种字符出现的频率，为每种字符进行唯一的编码设计，使得频率高的字符占的位数短，而频率低的字符长，来达到压缩的目的。通常可以节省20%~90%的空间，很大程度上依赖数据的特性！Huffman编码是变长编码，即每种字符对应的编码长度不唯一。
前缀码：任何一个字符的编码都不是同一字符集中另一种字符编码的前缀。Huffman编码为最优前缀码，即压缩后数据量最小。
-------...
分类：
其他好文 时间：
2015-12-22 10:32:37
阅读次数：
226
LZW压缩算法原理非常简单，因而被广泛地采用，已经被引入主流图像文件格式中。该算法由Lempel-Ziv-Welch三人发明，这种技术将定长码字分配给变长信源符号序列，它不需要知道被压缩文件的符号出现概率的先验知识，只需要动态地建立和维护一个字典，和其他压缩算法相比既是缺点也是优点。
1. LZW原理
LZW通过建立一个字典(code table)，用字典的索引序号代替出现过的字符串序列...
分类：
编程语言 时间：
2015-12-17 22:34:07
阅读次数：
465
Sql Server提供两种数据压缩的方式：row压缩和page压缩。两种压缩的内部原理暂且不论，只要知道压缩率越高，节省的disk space 更多即可。sql server 提供多种工具，供DBA查看压缩的效率。1，查看表的压缩类型在sys.partitions中的两个字段data_compre...
分类：
数据库 时间：
2015-12-02 14:23:08
阅读次数：
277
序言吹吹牛逼先，借我你的20分钟，保证你在.net中使用memcached缓存数据，畅通无阻，提升数据读取效率，分担数据库压力，便不在话下。本篇主要说下：memcached分布式缓存的负载均衡配置比例，数据压缩，socket的详细配置等，以及在.net中的常用方法。memcached是什么，做什么的...
分类：
Web程序 时间：
2015-11-11 13:11:11
阅读次数：
369
目前压缩技术可分为通用无损数据压缩与有损压缩两大类，但不管是采用何种技术模型，其本质内容都是一样的，即都是通过某种特殊的编码方式将数据信息中存在的重复度、冗余度有效地降低，从而达到数据压缩的目的。比如：“中国”是“中华人民共和国”的简称，但前者的字数是2，后者则是7，但我们都不会对它们俩所要表达的意...
分类：
其他好文 时间：
2015-11-02 20:54:14
阅读次数：
241
数据预处理技术数据清理：空缺值处理、格式标准化、异常数据清除、错误纠正、重复数据的清除数据集成：将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。数据变换：平滑、聚集、规范化、最小 最大规范化等数据归约：维归（删除不相关的属性（维））、数据压缩（PCA,LDA,SVD、小...
分类：
其他好文 时间：
2015-10-28 21:14:34
阅读次数：
546
1. ?最初创建Parquet的目的是：要在Hadoop生态系统中，充分利用数据压缩、有效列式存储的优势。Parquet面向复杂的嵌套数据结构，使用Dremel中的record shredding and assembly算法，其与简单命名空间嵌套的...
分类：
其他好文 时间：
2015-10-16 13:43:34
阅读次数：
674
3-9 没有冗余度的信源还能不能压缩？为什么？答：可以，只要信源不是等概率分布，就存在数据压缩的可能性，因此可以进行有损压缩，但是不能进行无损压缩。3-10 不相关的信源还能不能压缩？为什么？答：至少可以有损压缩,如果有冗余度还可以无损压缩3-12 等概率分布的信源还能不能压缩？为什么？你能举例吗？...
分类：
其他好文 时间：
2015-10-15 22:10:33
阅读次数：
251
本文主要介绍五种最常见和最常用的图像格式：BMP，PNG，JPEG，JPEG200，以及GIF。在进行图像处理相关应用之前第一步首先是能够读取这些图像文件，虽然很多开发工具支持库比如OpenCV等已经帮助节省了这些工作的麻烦，便利的同时也使得开发人员不再熟悉这些基本的图像格式。本文的作用就在于将这五种常用的图像格式进行分条叙述，方便查阅。...
分类：
其他好文 时间：
2015-10-13 09:15:24
阅读次数：
189
