简介
可插入的 shuffle 和 sort 功能，允许在shuffle 和 sort 逻辑中用可选择的实现类替换。这个情况的例子是：用一个不是HTTP的应用协议，如RDMA来 shuffle 从Map节点中到Reducer节点的数据；或者用自定义的允许 Hash聚合和Limit-N查询的算法来代替sort逻辑。
重要: 可插入的 shuffle sort 功能是实验性的、不稳定。这意味着提...
分类：
其他好文 时间：
2014-05-15 13:25:05
阅读次数：
233
版本：CDH5.0.0，HDFS：2.3.0，Mapreduce:2.3.0,Yarn:2.3.0。场景描述：求一组数据中按照不同类别的最大值，比如，如下的数据：data1:A,10
A,11
A,12
A,13
B,21
B,31
B,41
B,51data2:A,20
A,21
A,22
A,23
B,201
B,301
B,401
B,501最后输出为：A,23
B,501假如这样的逻辑的m...
分类：
其他好文 时间：
2014-05-15 08:15:04
阅读次数：
374
前面介绍了苹果浏览器的友好界面及良好的兼容特性。现在可以进入实战阶段了。
老师教导：程序设计时不要去重新发明明轮。也就是鼓励我们采取拿来主义。像js中的许多现成的应用，我们直接拿来用就行了。但也不尽然，
如：jquery为什么不用呢？特别是苹果浏览器良好的本地系统支持，不用考虑上传、下载。存在硬盘上使用即放心又快捷（回答：放心使用）。
那么苹果系统为什么不用falsh呢？ 现在电脑速度快感觉...
分类：
移动开发 时间：
2014-05-15 07:56:08
阅读次数：
389
k-近邻算法原理：存在一个样本的数据集合，也叫训练的样本集，样本集中每个数据都有标签，算法分类时，输入没有分类的新数据，将新数据的每个特征与样本集中每个数据对应的特征进行比较，然后样本集可以计算得到与新数据的相似度，然后取前k（通常不大于20）大相似度所对应的类标签，然后将新数据标识为k个中类标签最...
分类：
其他好文 时间：
2014-05-15 07:42:07
阅读次数：
401
hadoop分割与读取输入文件的方式被定义在InputFormat接口的一个实现中，TextInputFormat是默认的实现，当你想要一次获取一行内容作为输入数据时又没有确定的键，从TextInputFormat返回的键为每行的字节偏移量，但目前没看到用过
以前在mapper中曾使用LongWritable（键）和Text（值），在TextInputFormat中，因为键是字节偏移量，可以是L...
分类：
移动开发 时间：
2014-05-15 01:31:37
阅读次数：
454
前段时间研究过一阵子无锁化编程。刚写了几个简单的程序，来验证了下自己学到的一些概念。
测试场景：假设有一个应用：现在有一个全局变量，用来计数，再创建10个线程并发执行，每个线程中循环对这个全局变量进行++操作（i++)，循环加2000000次。
所以很容易知道，这必然会涉及到并发互斥操作。下面通过三种方式来实现这种并发操作。并对比出其在效率上的不同之处。
......
通过编程测试及测试得出结论：
1、如果是想用全局变量来做统计操作。而又不得不考虑多线程间的互斥访问的话，最好使用编译器支持的原子操作函...
分类：
其他好文 时间：
2014-05-15 00:17:24
阅读次数：
390
本篇介绍MapReduce的一些高级特性，如计数器、数据集的排序和连接。计数器是一种收集作业统计信息的有效手段，排序是MapReduce的核心技术，MapReduce也能够执行大型数据集间的“”连接（join）操作。...
分类：
其他好文 时间：
2014-05-14 23:53:44
阅读次数：
553
ReduceTask的运行
Reduce处理程序中需要执行三个类型的处理，
1.copy,从各map中copy数据过来
2.sort,对数据进行排序操作。
3.reduce,执行业务逻辑的处理。
ReduceTask的运行也是通过run方法开始，
通过mapreduce.job.reduce.shuffle.consumer.plugin.class配置shuffle的plugin,
...
分类：
其他好文 时间：
2014-05-14 20:23:57
阅读次数：
519
我这里有一套课程和大家分享，我的qq是2059055336，
课程说明：
国内首部完整讲述ERP系统架构、业务逻辑、开发的项目实战课程。考虑到本系统的庞大及复杂性、本课程原价购买学员每人赠送一个U盾设备，U盾可插在任意电脑上进行学习,使用方便,学习灵活！可永久学习！
项目由来：
此项目是讲师亲自参与构架及参与开发的大型ERP项目，此项目已被太阳石药业，九芝堂药业，拜欧药业等多家大中型...
分类：
Web程序 时间：
2014-05-14 20:06:35
阅读次数：
435
c# 链接mongDB集群
一
了解mongdb
一 学习部署
二 部署集群
三 C#链接mongdb 完成测试...
分类：
数据库 时间：
2014-05-14 15:01:44
阅读次数：
376
