COMPUTE STATS主要作用： 收集有关表中数据的容量和分布以及所有相关列和分区的信息。这些信息存储在metastore数据库中，Impala使用这些信息来帮助优化查询。例如，如果Impala可以确定一个表是大是小，或者有很多或很少不同的值，它就可以为一个连接查询或插入操作适当地组织并行化工作 ...
分类：
其他好文 时间：
2020-01-08 12:26:18
阅读次数：
187
Bagging算法： 凡解：给定M个数据集，有放回的随机抽取M个数据，假设如此抽取3组，3组数据一定是有重复的，所以先去重。去重后得到3组数据，每组数据量分别是s1,s2,s3，然后三组分别训练组合成一个强模型。如下图： 随机森林算法： 一般用于大规模数据，百万级以上的。 在Bagging算法的基础 ...
分类：
编程语言 时间：
2020-01-01 14:59:34
阅读次数：
94
在处理大量数据时，关系数据库存在很多问题。 无论是速度，高效处理，有效并行化，可扩展性还是成本，当数据量开始增长时，关系数据库都会失败。该关系数据库的另一个挑战是必须预先定义关系和模式。Elasticsearch也是一个NoSQL文档数据存储。 但是，尽管是一个NoSQL数据存储，Elasticse ...
分类：
其他好文 时间：
2019-12-23 18:27:47
阅读次数：
69
持续集成：软件质量改进和风险降低之道 主旨 这本书讲的是关于持续集成的原则和实践。Martin Fowler关于CI的热门文章发表于2006年，这本书作于2007年，虽然十年间CI的工具已经发生了不少变迁，但本书中提到的基本原则和实践仍然值得借鉴，而且书中提到的关于CI未来发展方向的论述也得到了验证 ...
分类：
其他好文 时间：
2019-12-22 00:25:56
阅读次数：
104
并行编程 介绍篇 设计并行编程 1 任务分解 ：将程序分解为任务，在不同处理器上执行以实现并行化。 （可以使用以下两种方法） 领域分解 ：将 分解 （当处理的数据量很大时，分开处理） 功能性分解 ：将 分解为任务 （把大的任务分解为多个小任务处理） 任务分配 ：将任务分配到各个处理器上 （目的是 ） ...
分类：
编程语言 时间：
2019-12-15 16:57:01
阅读次数：
90
https://blog.csdn.net/Eastmount/article/details/50155353 有几个知识点是非常重要的，包括：面向对象的思想、如何架构一个项目、设计模式来具体解决问题、应用机器学习和深度学习的方法，当然也包括我这篇文章的内容——多线程和并行化处理数据。 这篇文章主 ...
分类：
编程语言 时间：
2019-12-14 11:37:39
阅读次数：
103
摘要： 一般情况下，我们都会根据当前的硬件资源来设计相应的卷积神经网络，如果资源升级，可以将模型结构放大以获取更好精度。我们系统地研究模型缩放并验证网络深度，宽度和分辨率之间的平衡以得到更好的性能表现。基于此思路，提出了一种新的缩放方法：利用复合系数来统一缩放模型的所有维度，达到精度最高效率最高。复 ...
分类：
Web程序 时间：
2019-12-09 13:51:49
阅读次数：
243
Yarn是与npm兼容的JavaScript软件包管理器，可帮助自动化安装，更新，配置和删除npm软件包的过程。 它的创建是为了解决npm的一系列问题，例如通过并行化操作并减少与网络连接有关的错误来加快软件包的安装过程。 本文展示如何从Yarn RPM软件包存储库在CentOS 7系统上安装Yarn ...
分类：
其他好文 时间：
2019-12-04 18:37:31
阅读次数：
142
1. hive表的数据压缩 1.1 数据的压缩说明 压缩模式评价 可使用以下三种标准对压缩方式进行评价 1、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好 2、压缩时间：越快越好 3、已经压缩的格式文件是否可以再分割：可以分割的格式允许单一文件由多个Mapper程序处理，可以更好的并行化 压 ...
分类：
其他好文 时间：
2019-10-03 10:32:25
阅读次数：
89
1.Self-Attention 之前的RNN输入是难以并行化的，我们下一个输入可能依赖前一个输出，只有知道了前面的输出才能计算后面的输出。 于是提出了 self-attention ，但是这时候 $b^{i}$ 能够并行化计算 论文地址：https://arxiv.org/pdf/1706.037 ...
分类：
其他好文 时间：
2019-10-01 18:56:51
阅读次数：
114
