hive调优 参数调优 1、map阶段数据压缩set hive.exec.compress.intermediate=trueset mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodecset m ...
分类：
其他好文 时间：
2019-09-01 16:43:36
阅读次数：
152
降维算法应用：数据压缩、数据可视化。 主成分分析(PCA)是最常见的降维算法。 在 PCA 中，我们要做的是找到一个方向向量（Vector direction），当我们把所有的数据 都投射到该向量上时，我们希望投射平均均方误差能尽可能地小。方向向量是一个经过原点 的向量，而投射误差是从特征向量向该方 ...
分类：
其他好文 时间：
2019-08-16 00:53:54
阅读次数：
145
http://search.csdn.net/CSDN搜索，CSDN还是有非常多的编程资源的，用它的搜索能搜出不少东西。代码类别也比较全面。 http://snippets.org/简单实用的代码收集网站，强力推荐。比如你要找个DES加密，要找个数据压缩，找个INI文件操作的C代码等，均能手到擒来。 ...
分类：
编程语言 时间：
2019-08-13 15:40:51
阅读次数：
241
glob模块 提供了一个函数，用于匹配符合要求的文件: re模块 字符串正则匹配 datetime模块 日期时间 格式化输出也可以这样用： 数据压缩 支持数据打包、压缩的模块：zlib，gzip，bz2，zipfile，以及 tarfile。 压缩数据： 压缩文件： 解压文件： ...
分类：
编程语言 时间：
2019-08-07 22:14:17
阅读次数：
118
Q1动机一：数据压缩 将特征进行降维，如将相关的二维降到一维： 三维变二维： 以此类推把1000维数据降成100维数据。减少内存占用的空间 Q2动机二：数据可视化 如50个维度的数据是无法进行可视化的，使用降维的方法可以使其降到2维，然后进行可视化。 降维的算法只负责减少维度，新产生的特征的意义就必 ...
分类：
其他好文 时间：
2019-08-02 13:12:29
阅读次数：
85
持久化方式 RDB(默认持久化方式) 存储文件：dump.rdb 可选择开启数据压缩 ，配置存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩方式，但占用了一点CPU的时间，若关闭，会导致数据库文件变大。建议开启。 触发 配置文件： 触发rdb快照 1.在指定时间间隔内，执行指定 ...
分类：
其他好文 时间：
2019-07-23 15:00:32
阅读次数：
87
主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。# 一、PCA的思想 PCA顾名思义，就是找出数据里最... ...
分类：
其他好文 时间：
2019-07-19 18:45:47
阅读次数：
84
1.算法功能简介 主成分变换(Principal Component Analysis，PCA)又称K-L（Karhunen-Loeve）变换或霍特林（Hotelling）变换，是基于变量之间的相关关系，在尽量不丢失信息前提下的一种线性变换的方法，主要用于数据压缩和信息增强。 主成分正变换，一般意义 ...
分类：
其他好文 时间：
2019-07-17 18:45:18
阅读次数：
107
UDP协议 定义： User Datagram Protocol,用户数据报协议. 主要作用： 将网络数据压缩成数据包的形式。 数据包格式： 一个二进制数据的传输单位 工作机制： 蛮干型。 它想传送时就简单地去抓取来自应用程序的数据，并尽可能快地把它扔到网络上。因此，在发送端，UDP传送数据的速度仅 ...
分类：
其他好文 时间：
2019-07-02 00:29:15
阅读次数：
110
现在很多找到的软件都是tar.xz的格式的，xz是一个使用LZMA压缩算法的无损数据压缩文件格式。和gzip与bzip2一样，同样支持多文件压缩，但是约定不能将多于一个的目标文件压缩进同一个档案文件。相反，xz通常作为一种归档文件自身的压缩格式，例如使用tar或cpioUnix程序创建的归档。xzutils是lzmautils的下一代lzmautils改名xzutils。压缩时xzutils耗时比
分类：
其他好文 时间：
2019-06-17 14:22:41
阅读次数：
148
