1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能 ...
分类：
其他好文 时间：
2017-08-27 13:27:40
阅读次数：
254
（原创文章，谢绝转载~） hive可以使用 explain 或 explain extended (select query) 来看mapreduce执行的简要过程描述。explain出来的结果类似以下： 可以通过此分析mapreduce过程。以上为对zd1，zd2 分组，求sum（zd3）的mr过 ...
分类：
其他好文 时间：
2017-08-24 13:27:18
阅读次数：
263
14/04/04 17:15:12 INFO mapreduce.Job: map 0% reduce 0% 14/04/04 17:19:42 INFO mapreduce.Job: map 41% reduce 0% 14/04/04 17:19:53 INFO mapreduce.Job: m ...
分类：
其他好文 时间：
2017-08-22 10:46:59
阅读次数：
147
本篇讲解如何通过Eclipse 编写代码去操作分析hdfs 上的文件。 1、在eclipse 下新建Map/Reduce Project项目。如图： 项目建好后，会默认加载一系列相应的jar包。 下面还有很多包。 2、我们新建Java 类就可以了。代码如下： package org.hadoop.e ...
分类：
Web程序 时间：
2017-08-21 20:44:46
阅读次数：
306
js中的es6 中提出 map reduce filter 等方法； 那么我们在c#中似乎没看到呢，真的吗？ are you kiding me? 先看map 回家健身了，明天继续搞； 好文 推荐：http://www.justinshield.com/2011/06/mapreduce-in-c/ ...
有两篇文章一篇讲解（下面copy）《 PageRank算法简介及Map-Reduce实现》来源：http://www.cnblogs.com/fengfenggirl/p/pagerank-introduction.html 另一篇《PageRank简介-串讲Q&A.docx》 http://doc ...
分类：
编程语言 时间：
2017-08-14 17:22:44
阅读次数：
189
摘抄：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/0014317852443934a86aa5bb5ea47fbbd5f35282b331335000 本文章完全用来个人学习复 ...
分类：
编程语言 时间：
2017-08-10 13:44:47
阅读次数：
218
文章来源：http://www.pythoner.com/46.html 提起map和reduce想必大家并不陌生，Google公司2003年提出了一个名为MapReduce的编程模型[1]，用于处理大规模海量数据，并在之后广泛的应用于Google的各项应用中，2006年Apache的Hadoop项 ...
分类：
编程语言 时间：
2017-08-10 13:29:34
阅读次数：
171
Python面试题 之前同事问了一道Python题目如下，暂时归类为面试题 题目：把类似'123.456'的字符串转换成浮点型数据 方法一： >>> print '{:.3f}'.format(float('123.456')) >>> 123.456 方法二：指定map、reduce高阶函数 思路 ...
分类：
编程语言 时间：
2017-08-07 01:31:44
阅读次数：
241
#map/reduce
fromfunctoolsimportreduce
#Python内建了map()和reduce()函数
#map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回
deff(x):
returnx*x
r=map(f,[1,2,3,4,5,6,7,8,9])
print(list(r..
分类：
编程语言 时间：
2017-08-06 19:21:13
阅读次数：
125
