1、Hadoop HAR 将众多小文件打包成一个大文件进行存储，并且打包后原来的文件仍然可以通过Map-Reduce进行操作，打包后的文件由索引和存储两大部分组成； 缺点: 一旦创建就不能修改，也不支持追加操作，还不支持文档压缩，当有新文件进来以后，需要重新打包。 2、SequeuesFile 适用 ...
分类：
其他好文 时间：
2017-07-13 10:27:51
阅读次数：
173
利用map()函数，把用户输入的不规范的英文名字，变为首字母大写，其他小写的规范名字。输入：['adam', 'LISA', 'barT']，输出：['Adam', 'Lisa', 'Bart']。 1 def cg(name): 2 return name[0].upper()+name[1:]. ...
分类：
编程语言 时间：
2017-07-04 14:52:19
阅读次数：
189
在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译下面程序：import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf. ...
分类：
其他好文 时间：
2017-07-03 21:05:55
阅读次数：
173
Redux 和 React 没有直接关系，它瞄准的目标是应用状态管理。 核心概念是 Map/Reduce 中的 Reduce。且 Reducer 的执行是同步，产生的 State 是 Immutable 的。 改变 State 只能通过向 Reducer dispatch actions 来完成。 ...
分类：
其他好文 时间：
2017-07-02 22:19:42
阅读次数：
222
http://blog.nosqlfan.com/html/1519.html 本文见于MongoDB官方网站，MongoDB与CouchDB 很相似，他们都是文档型存储，数据存储格式都是JSON型的，都使用JavaScript进行操作，都支持Map/Reduce。但是其实二者有着很多本质的区别，本 ...
分类：
数据库 时间：
2017-07-02 12:20:21
阅读次数：
226
1.下载并安装eclipse2.https://github.com/winghc/hadoop2x-eclipse-plugin3.下载插件到eclipse的插件目录 4.配置hadoop安装目录 打开eclipsewindow ->preference -> hadoop Map/Reduce ...
分类：
系统相关 时间：
2017-06-29 14:29:31
阅读次数：
256
Map/Reduce用户界面 本节为用户採用框架要面对的各个环节提供了具体的描写叙述，旨在与帮助用户对实现、配置和调优进行具体的设置。然而，开发时候还是要相应着API进行相关操作。 首先我们须要了解Mapper和Reducer接口，应用通常须要提供map和reduce方法以实现他们。 接着我们须要对 ...
分类：
其他好文 时间：
2017-06-28 13:02:34
阅读次数：
290
看一下执行的结果： g(1) >>>2 g(2) >>>3 当然，你也可以这样使用： lambda x:x+1(1) >>>2 可以这样认为,lambda作为一个表达式，定义了一个匿名函数，上例的代码x为入口参数，x+1为函数体，用函数来表示为： 非常容易理解，在这里lambda简化了函数定义的书写 ...
分类：
编程语言 时间：
2017-06-28 10:56:15
阅读次数：
205
Redux 和 React 没有直接关系，它瞄准的目标是应用状态管理。 核心概念是 Map/Reduce 中的 Reduce。且 Reducer 的执行是同步，产生的 State 是 Immutable 的。 改变 State 只能通过向 Reducer dispatch actions 来完成。 ...
分类：
其他好文 时间：
2017-06-27 23:25:29
阅读次数：
172
map-reduce入门 近期在改写mahout源代码，感觉自己map-reduce功力不够深厚，因此打算系统学习一下。 map-reduce事实上是一种编程范式，从统计词频（wordCount）程序来解说map-reduce的思想最easy理解。 给定一个文件，里面的内容例如以下，要求统计每一个单 ...
分类：
其他好文 时间：
2017-06-24 21:56:15
阅读次数：
128
