Shared Variables Normally, when a function passed to a Spark operation (such as map or reduce) is executed on a remote cluster node, it works on separ ...
分类：
其他好文 时间：
2018-11-03 13:56:12
阅读次数：
144
Hive是一个依赖于分布式存储的查询和管理大型数据集的数据仓库。传统的非大数据行业一般都是基于表进行数据存储和管理的，如果由于业务扩张或者其他原因迁移到HDFS平台上，那么需要将传统的SQL查询语句全部翻译成Map-reduce的程序实现，这个工作量是相当庞大的。好在SQL具有严谨和良好的模板式语法 ...
分类：
其他好文 时间：
2018-10-18 11:42:23
阅读次数：
121
原文：https://www.cnblogs.com/chenwolong/p/reduce.html 函数式编程 函数是Python内建支持的一种封装，我们通过把大段代码拆成函数，通过一层一层的函数调用，就可以把复杂任务分解成简单的任务，这种分解可以称之为面向过程的程序设计。函数就是面向过程的程序 ...
分类：
编程语言 时间：
2018-10-15 14:40:56
阅读次数：
190
map map(function,Iterable) map将传入的函数一次作用到序列的每个元素，并把结果作为新的 Iterator返回 方式一：手动实现 方式二：列表生成 方式三：map + 匿名函数 Reduce reduce(function,sequence) reduce把一个函数作用在一 ...
分类：
其他好文 时间：
2018-10-10 17:07:00
阅读次数：
161
namenode节点上配置Map/Reduce计算引擎跑在yarn这个资源调度平台上；<property><name>mapreduce.framework.name</name><value>yarn</value></property>namenode配置yarn-site.xml文件指定resourcemanager在m
分类：
其他好文 时间：
2018-10-09 17:06:08
阅读次数：
283
一、简介 HIVE 是一个数据仓库，说白了就是把一些数据结构化的文件，映射成一张表，并且提供sql 接口去查询对应的数据。简单的查询不会经过mapreduce，涉及到排序之类，会生成一个hadoop 中的一个map reduce任务去执行。海量的数据文件都输存放在hdfs 中，所以hive 依赖于h ...
分类：
其他好文 时间：
2018-10-08 18:44:58
阅读次数：
166
起初在linux上想使用Map/Reduce来完成操作，发现需要导入的jar包过多，大概在6点左右写完程序却跑不起来，一直在找jar包，直接被卡死在这里。 从教室回来之后，发现好多人都是在windows下完成的操作。突然想起来，暑假里按教程做的那个精准推送的实例，也是在windows的eclipse ...
分类：
其他好文 时间：
2018-09-30 23:22:26
阅读次数：
332
Hive支持的表连接查询的语法： hive只支持等连接，外连接，左半连接。hive不支持非相等的join条件（可以通过其他方式实现），因为它很难在map/reduce job实现这样的条件。而且，hive可以join两个以上的表。 ...
分类：
其他好文 时间：
2018-09-28 16:28:15
阅读次数：
160
[TOC] 1. 前言 在实际开发中,碰上CPU密集且执行时间非常耗时的任务,通常我们会选择将该任务进行分割,以多线程方式同时执行若干个子任务,等这些子任务都执行完后再将所得的结果进行合并。这正是著名的map reduce思想,不过map reduce通常被用在分布式计算的语境下,这里举这个例子只是 ...
分类：
其他好文 时间：
2018-09-25 14:41:43
阅读次数：
186
In this lesson we write an imperative function to flatten nested arrays, and then use the popular map, reduce, compose, and pipe functions to transfor ...
分类：
编程语言 时间：
2018-09-12 19:56:27
阅读次数：
183
