hive.exec.script.maxerrsize：一个map/reduce任务允许打印到标准错误里的最大字节数，为了防止脚本把分区日志填满，默认是100000；hive.exec.script.allow.partial.consumption：hive是否允许脚本不从标准输入中读取任何内容就...
分类：
其他好文 时间：
2015-09-03 17:56:05
阅读次数：
154
概述
什么是Spark
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习...
分类：
其他好文 时间：
2015-08-31 13:39:50
阅读次数：
279
一、Spark是什么
1、与Hadoop的关系
如今Hadoop已经不能狭义地称它为软件了，Hadoop广泛的说可以是一套完整的生态系统，可以包括HDFS、Map-Reduce、HBASE、HIVE等等。。
而Spark是一个计算框架，注意，是计算框架
其可以运行在Hadoop之上，绝大部分情况下是基于HDFS
说代替Hadoop其实是代替Hadoop中的Map-Reduce，用来解决M...
分类：
其他好文 时间：
2015-08-30 01:07:34
阅读次数：
1083
Map、Reduce任务中Shuffle和排序的过程同样贴出我在visio中画出的流程示意图：流程分析：Map端：1．每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓...
分类：
编程语言 时间：
2015-08-28 17:09:40
阅读次数：
754
角色描述：JobClient:执行任务的客户端JobTracker:任务调度器TaskTracker:任务跟踪器Task:具体的任务(Map OR Reduce)从生命周期的角度来看，mapreduce流程大概经历这样几个阶段：初始化、分配、执行、反馈、成功与失败的后续处理每个阶段所做的事情大致如下...
分类：
其他好文 时间：
2015-08-28 13:12:19
阅读次数：
164
一 前言 初次接触函数式编程是在学习分布式计算的时候，那时候对map/reduce是不明觉厉，也没有懂多少原理方面的东西。Python中的函数式编程也算是初步了解一下map/reduce。所谓函数式编程，本质上是可以归结为面向过程的程序设计，但是它的思想很接近数学计算。它比一般的编程范式要更抽象，....
分类：
编程语言 时间：
2015-08-26 15:20:20
阅读次数：
206
原文地址：http://soft.chinabyte.com/database/431/12914931.shtml概述 什么是Spark ◆ Spark是UC Berkeley AMP lab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于map reduce算法实.....
分类：
其他好文 时间：
2015-08-21 15:17:40
阅读次数：
278
map,filter,reduce、
关于Swift 中String 、数组 、字典的基本用法这里就不再赘述了，这些都很简单 不会的 在用得时候baidu下就行了。这里主要看下这几个高阶函数
mapmap方法，其获取一个闭包表达式作为其唯一参数。 数组中的每一个元素调用一次该闭包函数，并返回该...
分类：
编程语言 时间：
2015-08-21 01:55:21
阅读次数：
337
Stream是Java 8中的一个大的改进。Stream的功能是，支持集合的各种操作，比如filter, sum, max, min, average, map, reduce等等。所以我个人认为Stream的出现是基于以下原因:
增强集合操作
拥抱函数式编程
充分利用Lambda
执行效率的提高 - 透明支持多线程集合操作
笔者尝试测试一下Stream并发处理的威力，发现面对特别简单的任务，Str...
分类：
编程语言 时间：
2015-08-14 19:08:54
阅读次数：
234
以上是对应的RDD的各中操作，相对于MaoReduce只有map、reduce两种操作，Spark针对RDD的操作则比较多***********************************************map(func)返回一个新的分布式数据集，由每个原元素经过func函数转换后组成*...
分类：
其他好文 时间：
2015-08-12 18:33:56
阅读次数：
175
