Mapper“Map-Reduce”的思想就是“分而治之”Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”而执行“简单的任务”有几个意思：1、数据或计算规模相对于原任务要大大缩小；2、就近计算，即会被分配到存放了所需数据的节点进行计算。3、这些小任务可以并行计算，彼此间没有相互依赖的...
分类：
其他好文 时间：
2014-10-18 19:35:27
阅读次数：
210
SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似map、reduce、join、window等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。Spark S...
分类：
Web程序 时间：
2014-10-13 22:30:37
阅读次数：
500
基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计
map/reduce是大数据处理的技术，它的思路是把大规模数据分成一个个小数据块，每个数据块由一个map任务来处理，处理的中间结果汇总到reduce,最后生成最终的处理结果，这个处理和汇总的过程是可以反复多次的，也就是map-reduce-map-reduce
基于map/redu...
分类：
其他好文 时间：
2014-10-06 13:19:00
阅读次数：
127
异步计算分布式消息队列先进先出机制的队列，监听在服务器某个端口上的服务，它可以维护并管理很多消息队列，应用程序可以通过网络快速访问它，为某个队列追加消息或者从某个队列领取消息。并行计算Map/Reduce是一种分布式并行计算的开发框架，任何计算任务都可以经历从拆分到..
分类：
其他好文 时间：
2014-10-01 01:29:30
阅读次数：
221
传入函数要理解“函数本身也可以作为参数传入”，可以从Python内建的map/reduce函数入手。如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Large Clusters”，你就能大概明白map/reduce的概念。...
分类：
编程语言 时间：
2014-09-28 01:51:30
阅读次数：
223
最近学习map-reduce原理以及map-reduce编程，于是顺带着学习下Java编程，对于Java常用的数据结构和类集，我总结到mind图中，便于理清相互之间的关系
package leiji;
import java.util.ArrayList;
import java.util.List;
import java.util.Collectio...
分类：
编程语言 时间：
2014-09-26 19:23:08
阅读次数：
280
分布式计算被誉为高端的东东，我想也是每个程序员都想涉足的领域了。前一段时间项目中遇到了大数据计算的问题，一般计算时间都要2~3小时，甚至一整天的。我想能不能利用多台机器分布式计算，减少计算时间呢？当前分布式计算框架主要有hadoop, google的map/reduce，或一些其它的框架。但这些东东...
分类：
编程语言 时间：
2014-09-25 14:29:29
阅读次数：
381
mongoDB的map reduce使用
示例：
res = db.runCommand({
mapreduce:'liveEpgUserVisits',
map:function() {
emit({provice:this.provice}, {"data":[{"mac":this.mac}],visit:this.visitNum, use...
分类：
数据库 时间：
2014-09-23 19:55:17
阅读次数：
268
利用hadoop streaming框架，帮助我们在map和reduce之间传递数据，通过stdin和stdout.http://wenku.baidu.com/link?url=R1vj6NWV5nv_aVI8P0G5SNzxOyaDsffGeOJrRT6iA9iYHry3w60hJ9CVAtS1...
分类：
编程语言 时间：
2014-09-16 18:54:50
阅读次数：
200
#!/usr/bin/env pythonimport osimport os.pathimport sysimport reimport shutilimport csvfrom multiprocessing import Pool #support muti thread map reduce...
分类：
编程语言 时间：
2014-09-16 10:34:30
阅读次数：
277
