一、概述。 MapReduce是一种可用于数据处理的编程模型。Hadoop能够执行由各种语言编写的MapReuce程序。MapReduce分为Map部分和Reduce部分。 二、MapReduce的机制 MapReduce分为几大过程input、Mapper、shufle、reduce、output ...
分类：
其他好文 时间：
2017-07-16 12:25:18
阅读次数：
159
对于多线程，我们经常使用的是Thread。在我们了解Task之前，如果我们要使用多核的功能可能就会自己来开线程，然而这种线程模型在.net 4.0之后被一种称为基于“任务的编程模型”所冲击，因为task会比thread具有更小的性能开销，不过大家肯定会有疑惑，任务和线程到底有什么区别呢？ 任务和线程 ...
分类：
编程语言 时间：
2017-07-12 13:34:11
阅读次数：
220
初识socket编程 一、前言 socket基于C\S架构（客户端\服务端）的编程模型，在Python中是以socket模块存在的。 Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个门面模式，它把复杂的TCP/IP协议族隐藏在Sock ...
分类：
编程语言 时间：
2017-07-10 22:19:29
阅读次数：
186
在类库中的资源 其他项目中要使用 需要嵌入才行 参考文献：WebResource实现在自定义控件中内嵌JS文件 1. WebResource简介 ASP.NET(1.0/1.1)给我们提供了一个开发WebControl的编程模型，于是我们摆脱了asp里面的include模式的复用方式。不过1.0/1 ...
分类：
Web程序 时间：
2017-07-06 13:19:42
阅读次数：
159
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce一样是一种通用计算框架，期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，用它来描述流处理作业的拓扑。在选择不同的流处理系统时，通常会关注以下几点： 运行时和编程模型：平台 ...
分类：
其他好文 时间：
2017-07-06 00:29:25
阅读次数：
241
MapReduce:超大机群上的简单数据处理 摘要 MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可 ...
分类：
其他好文 时间：
2017-07-05 13:17:30
阅读次数：
133
转载：http://blog.csdn.net/jiuqiyuliang/article/details/48758203 第一篇博文深入浅出JMS(一)–JMS基本概念，我们介绍了JMS的两种消息模型：点对点和发布订阅模型，以及消息被消费的两个方式：同步和异步，JMS编程模型的对象，最后说了JMS ...
分类：
编程语言 时间：
2017-07-03 16:31:05
阅读次数：
288
一 概述 MRv1主要由编程模型(MapReduce API)、资源管理与作业控制块(由JobTracker和TaskTracker组成)和数据处理引擎(由MapTask和ReduceTask组成)三部分组成。而YARN出现之后。资源管理模块则交由YARN实现，这样为了让MapReduce框架执行在 ...
分类：
移动开发 时间：
2017-07-03 15:11:06
阅读次数：
282
?? Storm工作原理： Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。比如一般金融系统一直不断的执行，金融交易、用户全部行为都记录进日志里，日志分析出站点运维、猎户信息。海量 ...
分类：
其他好文 时间：
2017-07-01 12:47:15
阅读次数：
200
术语解释： APM 异步编程模型， Asynchronous Programming Model EAP 基于事件的异步编程模式， Event-based Asynchronous Pattern TAP 基于任务的异步编程模式， Task-based Asynchronous Pattern 一、 ...
分类：
Web程序 时间：
2017-06-30 17:32:30
阅读次数：
283
