转自:http://www.iteblog.com/archives/992 Hadoop经常用于处理大量的数据,如果期间的输出数据、中间数据能压缩存储,对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split,目前lzo是最好的选择。LZO(LZO是Lempel-Ziv-Oberhu ...
分类:
其他好文 时间:
2016-07-11 14:06:21
阅读次数:
214
稀疏矩阵M*N的矩阵其中有效值的个数远小于无效值的个数且分布没有规律Eg:intarray[6][5]={{1,0,3,0,5},{0,0,0,0,0},{0,0,0,0,0},{2,0,4,0,6},{0,0,0,0,0},{0,0,0,0,0}};稀疏矩阵的压缩存储压缩存储值存储极少数的有效数据。使用{row,col,value}//行列值三元组存储每一个有效数..
分类:
编程语言 时间:
2016-05-26 22:16:26
阅读次数:
290
对称矩阵对称矩阵及对称矩阵的压缩存储设一个N*N的方阵A,A中任意元素Aij,当且仅当Aij==Aji(0<=i<=N-1&&0<=j<=N-1),则矩阵A是对称矩阵。以矩阵的对角线为分隔,分为上三角和下三角。压缩存储称矩阵存储时只需要存储上三角/下三角的数据,所以最多存储n(n..
分类:
编程语言 时间:
2016-05-26 22:14:29
阅读次数:
309
稀疏矩阵:矩阵中大多数元素为0的矩阵,从直观上讲,当非零元素个数低于总元素的30%时,这样的矩阵为稀疏矩阵。如:intarray[6][5]={{1,0,3,0,5},{0,0,0,0,0},{0,0,0,0,0},{1,0,3,0,5},{0,0,0,0,0},{0,0,0,0,0}};稀疏矩阵的压缩存储:使用{row,col,value}三元组存储每一个有效..
分类:
其他好文 时间:
2016-05-22 18:36:18
阅读次数:
473
/*稀疏矩阵的压缩存储、转置、快速转置*/
#include<iostream>
usingnamespacestd;
#include<vector>
//三元组
template<classT>
structTriple
{
size_t_row;
size_t_col;
T_value;
Triple(size_trow=0,size_tcol=0,constT&value=T())
:_row(row)..
分类:
编程语言 时间:
2016-05-21 16:07:05
阅读次数:
629
#include<iostream>
usingnamespacestd;
/*对称矩阵及对称矩阵的压缩存储*/
template<classT>
classSymmetricMatrix
{
public:
SymmetricMatrix(T*a,size_tN)
:_a(newT[N*(N+1)/2])
,_n(N)
{
size_tindex=0;
for(size_ti=0;i<N;++i)
{
for(siz..
分类:
编程语言 时间:
2016-05-21 16:04:47
阅读次数:
475
稀疏矩阵:M*N的矩阵,矩阵中有效值的个数远小于无效值的个数,且这些数据的分布没有规律如下图所示:一般情况下,我们会想到只要交换对应的行和列,但是这种做法很浪费时间和空间,所以我们可以利用三元组进行存储,压缩存储极少数的有效数据,使用{row,col,value}三元组存..
分类:
其他好文 时间:
2016-05-11 20:12:00
阅读次数:
203
#include<iostream>
#include<vector>
template<classT>
structTriple
{
T_value;
size_t_row;
size_t_col;
Triple(constT&t=T(),size_trow=0,size_tcol=0)
:_value(t)
,_row(row)
,_col(col)
{}
};
template<classT>
classSpareMat..
分类:
编程语言 时间:
2016-05-11 20:11:50
阅读次数:
185
矩阵(稀疏矩阵)的压缩存储注 本文转载地址:http://blog.163.com/zhoumhan_0351/blog/static/39954227201001112526244/ 为了节省存储空间并且加快处理速度,需要对这类矩阵进行压缩存储,压缩存储的原则是:不重复存储相同元素;不存储零值元素。一、相关概念㈠特殊矩阵 矩阵中存在大多数值相同的元,或非0元,且在矩...
分类:
其他好文 时间:
2016-05-03 10:51:52
阅读次数:
867
本片博客讨论的特殊矩阵包括两部分:(1)元素分布有特殊规律的矩阵,寻找规律对应的公式实现压缩存储。如:对称矩阵。(2)非零元素很少的稀疏矩阵,可采用只存储非零元素的方式实现压缩存储。首先呢,先来讨论下对称矩阵。所谓对称矩阵呢,就是行和列相同,上矩阵和下矩阵对..
分类:
其他好文 时间:
2016-04-20 02:07:09
阅读次数:
201