从FFmpeg 3.0 开始 ， 使用了很多新接口， 在一些基本用法上，编译会看见很多的warning，类似 “ warning: ‘AVStream::codec’ is deprecated (declared at /usr/local/ffmpeg/include/libavformat/a ...
前四篇文章讲了Hadoop的配置和测试以及eclipse下的使用，有兴趣的可以先看下。1.Hadoop流简介用可执行文件作为Mapper和Reducer，接受的都是标准输入，输出的都是标准输出。当一个可执行文件作为Mapper时，每一个Map任务会以一个独立的进程启动这个可执行文件，然后在Map任务...
云智慧（北京）科技有限公司陈鑫写这个文章的时候才意识到新旧API是同时存在于1.1.2的hadoop中的。以前还一直纳闷儿为什么有时候是jobClient提交任务，有时是Job...不管API是否更新，下面这些类也还是存在于API中的，经过自己跟踪源码，发现原理还是这些。只不过进行了重新组织..
分类：
其他好文 时间：
2015-07-07 13:11:47
阅读次数：
119
什么是MapReduce？你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃。
MapReduce方法则是：
1. 给在座的所有玩家中分配这摞牌。
2. 让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你。
3. 你把所有玩家告诉你的数字加起来，得到最后的结论。MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域...
1. Hadoop 1.0中的资源管理方案Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTra...
分类：
其他好文 时间：
2015-04-16 21:20:31
阅读次数：
251
在正式分析新旧 API 之前， 先要介绍几个基本概念。 这些概念贯穿于所有 API 之中，因此， 有必要单独讲解。1.序列化序列化是指将结构化对象转为字节流以便于通过网络进行传输或写入持久存储的过程。反序列化指的是将字节流转为结构化对象的过程。 在 Hadoop MapReduce 中， 序列化的主...
最近我所在的一个项目进行了Hadoop版本迁移，由hadoop-0.20.2迁移至hadoop-2.2.0,旧版的mapreduceJob虽然都是用旧的API写的，但在新环境下基本上都是兼容的，只有两个涉及到globalsort的Job，出现了同样的问题，报错分别如下：1、wrongkeyclass:org.apache.hadoop.io.LongWrita..
分类：
编程语言 时间：
2014-11-30 00:58:50
阅读次数：
198
我使用hadoop的是hadoop1.1.2，而很多公司也在使用hadoop0.2x版本，因此市面上的hadoop资料版本不一，为了扩充自己的知识面，MapReduce的新旧api进行了比较研究。 hadoop版本1.x的包一般是mapreduce hadoop版本0.x的包一般是mapre...
