使用Docker一段时间之后，准备在公司内部使用Docker +
Hadoop(HDFS)组件内部一个私有云，统一管理公司和产品/项目组内部的代码、文档。我选择先从文档管理开始，在底层架子搭建好之后，需要给内部人员提供一个好的“门面”，在没有这个门面之前，我们大量使用SSH+Command方式操作，...
分类：
其他好文 时间：
2014-05-24 03:44:10
阅读次数：
1071
版本：CDH5.0.0 （hdfs:2.3，mapreduce：2.3，yarn：2.3）hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求：现有两份数据：phone：123,good number
124,common number
125,bad numberuser：zhangsan,123
lisi,124
w...
分类：
其他好文 时间：
2014-05-22 06:23:52
阅读次数：
391
http://pan.baidu.com/s/1ntqLA7v其中是我总结生成的一些文档，以便于理解当我们输入make
uImage后，系统是怎么一步一步生成uImage的，我采用的是逆向分析的方法。Linux内核的编译结构还是挺复杂的，我分析的还不到位，文档还有欠缺。下面是缩略图，在共享的目录中有...
分类：
系统相关 时间：
2014-05-20 12:31:45
阅读次数：
425
FileChannel是flume一个非常重要的channel组件，非常常用。这个channel非常复杂，涉及的文件更多涉及三个包：org.apache.flume.channel.file、org.apache.flume.channel.file.encryption(加密)、org.apa.....
分类：
其他好文 时间：
2014-05-19 13:02:06
阅读次数：
285
目的
使用 CLI MiniCluster, 用户可以简单地只用一个命令就启动或关闭一个单一节点的Hadoop集群，不需要设置任何环境变量或管理配置文件。 CLI MiniCluster 同时启动一个 YARN/MapReduce 和 HDFS 集群。
这对那些想要快速体验一个真实的Hadoop集群或是测试依赖明显的Hadoop函数的非Java程序 的用户很有用。
Hadoop Ta...
分类：
其他好文 时间：
2014-05-18 18:41:39
阅读次数：
319
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流，数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率，没有设定特殊的reducer，一般默认使用IdentityReducer（把输入直接转向输出）
通过HDFS的命令getMerge（输出合并）或其他文件操作，可以获得...
分类：
其他好文 时间：
2014-05-18 15:12:21
阅读次数：
380
这就是inflate的作用，他就是用来解析xml并显示到屏幕的，至于解析的代码我这边就不多做阐述了，毕竟已经超越了我们的主题太远。我们还是看inflate是如何给解析的xml分配内存，并添加到view上的吧！...
分类：
其他好文 时间：
2014-05-18 13:57:22
阅读次数：
271
NameNode有这么几个配置：PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类：
其他好文 时间：
2014-05-17 18:56:09
阅读次数：
367
1. 概括适合一次写入多次查询情况，不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中，通过linux
shell只能看见block，看不见文件（HDFS将客户端的大文件存放在很多节点的数据块中，Block本质上是一个逻辑概念，它是hdfs读写数据的基本单位...
分类：
编程语言 时间：
2014-05-17 18:38:16
阅读次数：
364
