join： Map端join //大表+小表，只需要map Reduce端join //大表+大表，需要Map和Reduce //设计组合key和flag //分组对比器 Json： fastJson技术 JSON.parseObject(str) //将string转成jsonObject ... ...
分类：
Web程序 时间：
2018-04-25 16:59:09
阅读次数：
222
openstack是一个开源的云计算框架，而Hadoop是一个开源的大数据框架，二者的侧重点不同。区别：云计算是在云平台上提供存储和计算资源。而以Hadoop为模型的大数据是提供了一种分布式的存储（HDFS）和计算模型（Map/Reduce），可以自己使用多台计算机搭建Hadoop平台，也可以在一台计算机上通过虚拟机搭建Hadoop平台，甚至可以在云平台上搭建Hadoop平台。
分类：
其他好文 时间：
2018-04-24 17:39:49
阅读次数：
152
首先是一个正常的函数，能够正常的传参数 匿名函数传参数： 注：lambda里面不能处理for循环之类的复杂运算 lambda单独使用的不多，需要结合使用 例如：结合filter()函数 filter()函数：一组数据里面过滤想要的结果 从0到10，过滤大余5的数 lambda与map()结合使用 m ...
分类：
其他好文 时间：
2018-04-24 14:55:29
阅读次数：
135
一、高阶函数 1.可以通过变量指向函数，达到类似别名的效果： 2.函数的参数可以是函数，也就是函数可以作为一个入参 以下介绍几个高阶函数 map、reduce 这两个函数就不赘述了。和scala的功能类似，不过用法不一样，它接收两个参数，第一个是函数f，第二个是Iterable。并将计算结果作为新的 ...
分类：
编程语言 时间：
2018-04-23 21:41:39
阅读次数：
200
原文地址：http://hadoop.apache.org/docs/r1.0.4/cn/distcp.html 概述 使用方法 基本使用方法 选项 选项索引 更新和覆盖 附录 Map数目 不同HDFS版本间的拷贝 Map/Reduce和副效应 概述 使用方法 基本使用方法 选项 选项索引 更新和覆 ...
分类：
其他好文 时间：
2018-04-16 22:46:10
阅读次数：
316
1、关于函数参数——ES6新特性rest rest以类似数组的方式将函数的参数保存下来 eleDis函数会打印出每个实参的值。 对js而言，它是允许传入任意个参数的，即使调用的实参比形参的数量还多 2、高阶函数 即可以接收一个函数作为它的参数的函数 常用的有map、reduce、filter、sor ...
分类：
编程语言 时间：
2018-04-16 21:55:58
阅读次数：
214
数据倾斜：由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点。map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的re ...
分类：
其他好文 时间：
2018-04-07 17:43:42
阅读次数：
159
问题描述： you will be given a number and you will need to return it as a string in Expanded Form. For example: NOTE: All numbers will be whole numbers gre ...
分类：
Web程序 时间：
2018-04-03 20:11:02
阅读次数：
247
1 . 简介 GFS, Big Table, Map Reduce称为Google的三驾马车，是许多基础服务的基石 GFS于2003年提出，是一个分布式的文件系统，与此前的很多分布式系统的前提假设存在很大的不同，适用于以下场景 1）认为组件失效是一种常态，提供了容错机制，自动负载均衡，使得分布式文件 ...
分类：
其他好文 时间：
2018-03-28 18:44:15
阅读次数：
252
1 hadoop shuffle的地位 hadoop shuffle是map reduce算法的核心，是它连接了多个map和多个reduce，它将map的输出交给reduce作为输入。 2 hadoop shuffle工作在哪里 shuffle工作在map端 3 hadoop shuffle做了什么 ...
分类：
其他好文 时间：
2018-03-28 12:19:04
阅读次数：
110
