Hadoop 中的join分为三种
Reduce端join，适合于两个大表
Map端join，适合一个大表和一个小表，小表放到 Distribute Cache里面
semi join 当join只用到其中一个表中的一小部分时
Reduce端join
读入两个大表，对value按文件进行标记
在Reduce端收集属于不同文件的value到不同的list，对同一key的不同list中的value做笛卡...
分类：
其他好文 时间：
2016-05-12 12:31:29
阅读次数：
194
一、排序和聚集
hive中的order by能够预期产生完全排序的结果，但这个排序的过程只是使用一个reduce任务来完成的，这个面对大规模的数据集肯定不可行的
因此
sort by出现，它可以为每个reduce任务产生一个排序文件
distribute by
可以控制某个特定行应该到哪个reducer，目的在于进行后续的聚集操作
例如
from record2
select ye...
分类：
其他好文 时间：
2016-05-06 15:27:42
阅读次数：
208
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reduc ...
分类：
其他好文 时间：
2016-05-05 16:02:24
阅读次数：
736
一、简介pip是一个安装和管理Python包的工具，python安装包的工具有easy_install,setuptools,pip，distribute等。distribute是setuptools的替代品，是对标准库disutils模块的增强，我们知道disutils主要是用来更加容易的打包和分发包，特别是对其他的包有依赖的包。distribute..
分类：
其他好文 时间：
2016-05-02 17:14:03
阅读次数：
8415
How to submit a package to PyPI The other month a coworker of mine wanted to distribute a small wrapper he'd written for the Locu API. Instead of forc ...
分类：
其他好文 时间：
2016-04-30 16:50:13
阅读次数：
212
sort by 不受 hive.mapred.mode 的值是否为 strict 和 nostrict 的影响。sort by 的数据只能保证在同一个 Reduce 中的数据可以按指定字段排序；DISTRIBUTE BY 排序查询 按照指定的字段对数据划分到不同的输出 Reduce 文件中；CLUSTER BY 查询 cluster by 除了具有 distribute by 的功能外还兼...
分类：
其他好文 时间：
2016-04-29 18:53:43
阅读次数：
174
SourceInsight3.x官方下载地址：http://www.sourceinsight.com/distribute/Si3563Setup.exe官方网站：http://www.sourceinsight.com/注册码：SI3US-230590-09757SI3US-840598-11493SI3US-404808-04697SI3US-510811-93484SI3US-343066-11287
分类：
其他好文 时间：
2016-04-29 01:55:39
阅读次数：
744
sort by 不受 hive.mapred.mode 的值是否为 strict 和 nostrict 的影响。sort by 的数据只能保证在同一个 Reduce 中的数据可以按指定字段排序；DISTRIBUTE BY 排序查询 按照指定的字段对数据划分到不同的输出 Reduce 文件中；CLUSTER BY 查询 cluster by 除了具有 distribute by 的功能外还兼...
分类：
其他好文 时间：
2016-04-26 21:03:49
阅读次数：
204
0、Python的包管理 在刚开始学习Python的时候比较头疼各种包的管理，后来搜到一些Python的包管理工具，比如setuptools, easy_install, pip, distribute，了解到他们的大致关系如下图： Python包管理工具 总而言之，pip是一个方便安装和管理Pyt ...
分类：
编程语言 时间：
2016-04-08 11:40:01
阅读次数：
176
一、理论：
1.flex-flow
a.flex-direction 设置伸缩容器的伸缩流方向
b.flex-wrap 设置伸缩容器中的伸缩项目在伸缩容器无足够空间时，伸缩项目在伸缩容器中是否换行排列
2.flex-pack
a.具有与box-pack属性相同的参数
b.distribute 伸缩项目会平均分布在同一行里
c.start 伸缩容器中的第一个伸缩项目的起始边缘置于伸缩容...
分类：
Web程序 时间：
2016-03-29 06:21:44
阅读次数：
181
