背景： BitMap 是一种比较常用的数据机构，位图索引被广泛应用与数据库和搜索引擎中，能快速定位一个数值是否在存在，是一种高效的数据压缩算法，能显著加快查询速度。但是BitMap还是会占用大量内存（线性增长），所以我们一般还需要对BitMap进行压缩处理。Roaring BitMaps (简称RB ...
分类：
其他好文 时间：
2018-11-04 12:51:45
阅读次数：
529
现在很多找到的软件都是tar.xz的格式的，xz 是一个使用 LZMA压缩算法的无损数据压缩文件格式。 和gzip与bzip2一样，同样支持多文件压缩，但是约定不能将多于一个的目标文件压缩进同一个档案文件。 相反，xz通常作为一种归档文件自身的压缩格式，例如使用tar或cpioUnix程序创建的归档 ...
分类：
其他好文 时间：
2018-11-03 13:56:37
阅读次数：
504
1、二进制传输，消息的解析效率更高 2、头部数据压缩，传输效率更高 3、多路复用，可以让请求并发执行 4、服务器推送，可以主动推送数据到浏览器 http2加载图片demo：https://http2.akamai.com/demo ...
分类：
Web程序 时间：
2018-11-03 01:47:49
阅读次数：
274
block结构示意图 sstable中Block 头文件如下: 重启点在上个章节已经介绍过了 "“重启点”是干什么的呢？简单来说就是进行数据压缩，减少存储空间。我们一再强调，Block内容里的KV记录是按照Key大小有序的，这样的话，相邻的两条记录很可能Key部分存在重叠，比如key i=“the ...
分类：
数据库 时间：
2018-10-15 14:48:15
阅读次数：
292
reduce将所有数据压缩到一起，得到一个最终的结果。 在python2中可以直接使用，在python3中需要导入 自己实现代码： 得到结果： 使用reduce方法 得到结果： ...
分类：
编程语言 时间：
2018-10-14 11:21:51
阅读次数：
158
数据压缩 如何解决我们服务端的压力问题呢？除了后端服务器架构配置合理之外，如需要做lvs负载均衡。在前端而言，就是减少请求量。还有就是把数据进行压缩。下面就数据的压缩做下简单总结 1.编译化 为什么前端静态文件需要编译？ 这里的编译意思是把一种语言翻译成另一种语言而不是像Java中的转成接近机器码的 ...
分类：
其他好文 时间：
2018-10-12 21:17:01
阅读次数：
168
1. 引言 降维是对数据高维度特征的一种预处理方法。降维是将高纬度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生产和应用中，降维在一定的信息损失范围内，可以节省大量的时间和成本。 PCA（principal compount analysis），即主 ...
分类：
编程语言 时间：
2018-10-07 23:26:33
阅读次数：
207
之前学了不少的东西，我不能说是学会了，只能说是，见过了不少的东西，但是真正学精学会的，可能没有几个 对思维的培养真的是太差了，做题少的弊端暴露地体无完肤 在这里我总结一下以前看过的还有学过的所有的东西，梳理一下自己的知识脉络，对于不熟悉的东西还需要去看博客来加强理解（同时也要看如何实现这些东西） 数 ...
分类：
其他好文 时间：
2018-09-24 12:46:11
阅读次数：
180
一、什么是压缩感知（CS）？ compressed sensing又称compressed sampling，CS是一个针对信号采样的技术，它通过一些手段，实现了“压缩的采样”，准确说是在采样过程中完成了数据压缩的过程。 因此我们首先要从信号采样讲起： 1. 我们知道，将模拟信号转换为计算机能够处理 ...
分类：
其他好文 时间：
2018-09-16 15:42:52
阅读次数：
182
PGM是Portable Gray Map的缩写。它是灰度图像格式中一种最简单的格式标准。另外两种与之相近的图片格式是PBM和PPM。它们分别相应着黑白图像和彩色图像。 PGM的数据存放方式相比于JPG来说是非常easy的，由于它不进行数据压缩。自然的PGM的图片的大小也就比較大了。一个120*12 ...
分类：
其他好文 时间：
2018-09-15 12:19:27
阅读次数：
312
