最近在测试hadoop+fluentd方案，但是fluentd日志收集系统，需要append功能选择，写日志到HDFS中，官方给出的解决方案是：修改hdfs-site.xml文件,增加如下行：<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>..
分类：
移动开发 时间：
2014-12-25 18:49:44
阅读次数：
750
说明：本来研究开源日志的系统是flume，后来发现配置比较麻烦，网上搜索到fluentd也是开源的日志收集系统，配置简单多了，性能不错，所以就改研究这个东东了！官方主页，大家可以看看：fluentd.org，支持300+的plugins，应该是不错的！fluentd是通过hadoop中的webHDFS与HDFS进..
分类：
其他好文 时间：
2014-12-04 18:18:05
阅读次数：
497
WebHDFS观念是基于HTTP操作，比如GET、PUT、POST和DELETE。像OPEN、GETFILESTATUS、LISTSTATUS的操作是使用HTTPGET，其它的像CREAT、MKDIRS、RENAME、SETPERMISSION是依赖于HTTPPUT类型。APPEND操作时基于HTTPPOST类型，然而，DELETE是使用HTTPDELETE。在配置开源日志系统fluen..
分类：
Web程序 时间：
2014-12-03 19:38:02
阅读次数：
845
1. CURL安装
cURL是一个利用URL语法在命令行下工作的文件传输工具，1997年首次发行。它支持文件上传和下载，所以是综合传输工具，但按传统，习惯称cURL为下载工具。cURL还包含了用于程序开发的libcurl。CURL官方网站：http://curl.haxx.se/
1.1 Linux安装
这个网上资料比较多，只要搜索“curl 安装 linux”就应该有不少介绍。
1....
Apache Hadoop 2.5.0是一个在2.x.y发布线上的一个小版本，建立在之前稳定的发布版本2.4.1之上。
主要特性和改进：
1. Common
a) 使用HTTP代理服务器时认证改进。当通过代理服务器使用WebHDFS时这是非常有用的。
b) 增加了一个新的Hadoop指标监控sink，允许直接写到Graphite。
c)...
分类：
其他好文 时间：
2014-08-13 19:00:17
阅读次数：
278
