在spark1上操作 1. 安装Hadoop $ cd /usr/local $ tar -zxvf hadoop-2.4.1.tar.gz $ mv hadoop-2.4.1 hadoop $ vi ~/.bashrc $ source .bashrc 2. Hadoop配置 $ cd /usr/ ...
分类：
其他好文 时间：
2018-03-18 16:21:38
阅读次数：
165
Word count体现了Map Reduce的经典思想，是分布式计算中中的hello world。然而博主很幸运地遇到了Mac下特有的问题Mkdirs failed to create，特此记录 ...
分类：
系统相关 时间：
2018-03-06 23:20:08
阅读次数：
259
一、hadoop-eclipse-plugin-2.7.3.jar插件下载点击下载 二、把插件放到eclipse的安装目录dropins下 三、eclipse上的配置 3.1 打开Window-->Persperctive-->Other 3.2 选择MAP\/Reduce，点击OK 3.3 点击图 ...
分类：
编程语言 时间：
2018-02-26 23:15:40
阅读次数：
769
Map-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。 MongoDB提供的Map-Reduce非常灵活，对于大规模数据分析也相当实用。 MapReduce 命令 以下是MapReduce的基本语法： 使用 MapRed ...
分类：
数据库 时间：
2018-02-21 14:59:20
阅读次数：
170
这一次主要是学习了一下Python3函数式编程思想，介绍了3个代表性高阶函数：map(), reduce(), filter()。像 sorted() 其实也是高阶函数，可以接受函数作为参数。这篇学习笔记中编写了大量高阶函数，同时介绍了Python中的闭包，装饰器。这些思想和方法很美妙，我受益匪浅。 ...
分类：
编程语言 时间：
2018-02-20 16:22:32
阅读次数：
309
箭头函数适合于无复杂逻辑或者无副作用的纯函数场景下，例如：用在 map、reduce、filter 的回调函数定义中 箭头函数的亮点是简洁，但在有多层函数嵌套的情况下，箭头函数反而影响了函数的作用范围的识别度，这种情况不建议使用箭头函数 箭头函数要实现类似纯函数的效果，必须剔除外部状态。所以箭头函数 ...
分类：
其他好文 时间：
2018-02-10 14:03:40
阅读次数：
161
匿名函数 map使用 传入函数体 reduce用法 sorted探究 参考: "高阶函数map/reduce" "sorted,官方文档写的挺好,可以学到不少东西" ...
分类：
编程语言 时间：
2018-02-08 13:44:36
阅读次数：
186
ng机器学习视频笔记（十五） ——大数据机器学习(随机梯度下降与map reduce) （转载请附上本文链接——linhxx） 一、概述 1、存在问题 当样本集非常大的时候，例如m=1亿，此时如果使用原来的梯度下降算法（也成为批量梯度下降算法（batch gradient descent），下同）， ...
分类：
其他好文 时间：
2018-02-04 13:50:17
阅读次数：
237
一、概述 1.map-reduce是什么 Hadoop MapReduce is a software framework for easily writing applications which process vast amounts of data (multi-terabyte data- ...
分类：
其他好文 时间：
2018-01-30 21:13:54
阅读次数：
257
Shuffle的本意是洗牌、混乱的意思，类似于java中的Collections.shuffle(List)方法，它会随机地打乱参数list里的元素顺序。MapReduce中的Shuffle过程。所谓Shuffle过程可以大致的理解成：怎样把map task的输出结果有效地传送到reduce输入端。 ...
分类：
其他好文 时间：
2018-01-28 23:17:57
阅读次数：
203
