1、archives作用描述： ????Hadoop中DistributedCache方法之一（其他参考文章后面的参考文章）?，作用是?将指定文件分发到各个Task的工作目录下，并对名称后缀为“.jar”、“.zip”，“.tar.gz”、“.tgz”...
分类：
编程语言 时间：
2015-07-03 16:17:55
阅读次数：
247
背景
公司数据处理具有两个计算框架，单机框架和MR框架。目前我已经抽象出一套API interface, 供业务计算开发人员使用。并分别在两个计算框架下实现了API的执行调度。应用开发人员有时间需要通过上传override的配置文件，来调整业务计算参数。单机框架易于实现，但在MR框架里，需要解决override的配置文件的分发问题。
实现
1. 通过命令行传入配置文件路径；
2...
分类：
系统相关 时间：
2015-06-11 22:57:23
阅读次数：
172
其实MapReduce作业运行第三方配置文件的共享方法往小了说其实就是参数在MapReduce作业中的传递，往大了说其实就是DistributedCache的应用。在MapReduce中传递参数普遍用Configuration，Configuration是一个键值对，将所需的参数值表示成键值对（键值对为字符串类型），调用Conf..
分类：
其他好文 时间：
2014-12-24 06:32:52
阅读次数：
229
DistributedCache是Hadoop提供的文件缓存工具，它能够自动将指定的文件分发到各个节点上，缓存到本地，供用户程序读取使用。它具有以下几个特点：缓存的文件是只读的，修改这些文件内容没有意义；用户可以调整文件可见范围（比如只能用户自己使用，所有用户都可以使用等），进而防止重复拷贝现象；按...
分类：
其他好文 时间：
2014-07-19 17:23:15
阅读次数：
233
写MapReduce程序时候，有时候需要用到全局变量，常用的全局变量实现由三种方式：Configuration设置、DistributedCache、文件传参。博主在使用Configuration时，在Mapper中却没法读取全局变量。请看博主是如何一步一步找到问题所在的...
分类：
其他好文 时间：
2014-06-16 12:21:33
阅读次数：
296
DistributedCache 是一个提供给Map/Reduce框架的工具，用来缓存文件（text, archives, jars and so on）...
分类：
其他好文 时间：
2014-06-03 02:18:37
阅读次数：
332
