前言 MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。 该章节会分析在MapTask端的详细处理流程以及MapOutputCollector是如何处理map之后的collect输出的数据。 map端的主要处理流程
图1 MapTask处理流程 图1所示为MapTask的主要代码执行流程，在MapTask启动后会进入入口run函数，根据是否使用...
分类：
其他好文 时间：
2014-07-14 13:31:33
阅读次数：
392
1、RSA 公钥和私钥的组成，以及加密和解密的公式：
2、模指数运算：
先做指数运算，再做模运算，如 5^3 mod 7 = 125 mod 7 = 6
3、RSA加密算法流程：
选择一对不同的、并且足够大的素数 p 和 q计算 n = p * q计算欧拉函数 f(n) = (p-1) * (q-1)，p 和 q 需要保密寻找与 f(...
分类：
其他好文 时间：
2014-07-14 11:23:03
阅读次数：
453
ALICE源码分析
前言
ALICE(爱丽丝)其实是“人工语言计算机实体”的英文缩写。它曾经在往年（2000年、2001年和2004年）的勒布纳人工智能奖角逐中三次获胜。并在其他年度中也获过骄人的成绩。它是一个开源软件，可以在http://www.alicebot.org/downloads/programs.html下载到多种语言的实现。
这里以java版本为例讲解一下ALICE的聊天原理...
分类：
其他好文 时间：
2014-07-13 00:05:18
阅读次数：
323
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有这...
分类：
其他好文 时间：
2014-07-12 22:50:33
阅读次数：
185
1 概述
该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。
2 为什么要使用MapReduce
Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不...
分类：
其他好文 时间：
2014-07-12 21:31:22
阅读次数：
296
从源代码的角度来看一下Spark SQL的核心执行流程吧...
分类：
数据库 时间：
2014-07-12 21:07:32
阅读次数：
299
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战
课程针对人群
1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础，学习过北风课程《Gree...
分类：
其他好文 时间：
2014-07-12 20:58:37
阅读次数：
220
上一章我们分析了Scene与Layer相关类的源码，对Cocos2d-x的场景有了初步了解，这章我们来分析一下场景变换TransitionScene源码。
直接看TransitionScene的定义
class CC_DLL TransitionScene : public Scene
{
public:
/** Orientation Type used by some transi...
分类：
其他好文 时间：
2014-07-12 19:53:17
阅读次数：
404
4.3 Map类
创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。
4.3.1 Map介绍
...
分类：
其他好文 时间：
2014-07-12 17:23:40
阅读次数：
262
