项目需要C++代码与flume对接，进而将日志写入HDFS。flume原生为java代码，原先的解决方案是通过JNI调用flume java方法。但是由于一来对jni的调用效率的担心，二来C++调用JNI需要照顾local reference和GC的问题，被搞得头痛了。一怒之下，重写代码了，使用C+...
分类：
编程语言 时间：
2015-04-09 19:15:42
阅读次数：
161
基于flume-ng中原有exec的source类型，通过tail依赖于操作系统去监听文件内容变化，其次，不支持断点续传的功能，特此，自行开发了一个组件，大家可以看看，一起探讨：
https://github.com/cwtree/flume-filemonitor-source
望各位不吝指教！...
分类：
Web程序 时间：
2015-04-09 15:32:12
阅读次数：
209
利用一个spark receiver 接收多个flume agentString host = args[0];
int port = Integer.parseInt(args[1]);
String host1 = args[2];
int port1 = Integer.parseInt(args[3]); InetSocketAddress address1 = new Ine...
分类：
Web程序 时间：
2015-04-08 18:09:37
阅读次数：
195
YARN的Shell操作与管理7.1启动YARNYARN有2个守护线程：ResourceManager、NodeManager。[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartresourcemanager[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartnodemanager7.2YARNWeb管理界面YARN管理地址：Resource..
分类：
其他好文 时间：
2015-04-07 19:59:25
阅读次数：
305
HDFS的Shell操作与管理6.1启动HDFSStep01：格式化NameNode[hadoop@hadoop-yarnhadoop-2.2.0]$bin/hdfsnamenode–format说明：namenode在格式化的时候会产生一个ClusterID。也可以在格式化的时候自定义指定ID：bin/hdfsnamenode–format–clusteridyarn-clusterStep02：启动Nam..
分类：
系统相关 时间：
2015-04-07 19:58:53
阅读次数：
326
1.1Hadoop简介从Hadoop官网获得Hadoop的介绍：http://hadoop.apache.org/(1)WhatIsApacheHadoop?TheApacheHadoopprojectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.TheApacheHadoopsoftwarelibraryisaframeworkthatallowsforthedistributedprocess..
分类：
Web程序 时间：
2015-04-07 19:58:46
阅读次数：
183
2.1下载地址1、ApacheHadoop（100%永久开源）下载地址：-http://hadoop.apache.org/releases.html-SVN：http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH（ClouderaDistributedHadoop，100%永久开源）下载地址：-http://archive.cloudera.com/cdh4/cdh/4/（是ta..
分类：
其他好文 时间：
2015-04-07 19:58:25
阅读次数：
363
本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。一般情况下，用MemoryChannel就好了，我们公司用的就是这个，FileChannel速度慢，虽然提供日志级别...
分类：
Web程序 时间：
2015-04-01 17:21:22
阅读次数：
194
分布式数据收集flume-ng的spoolDir监控使用中的坑。。。。。...
分类：
Web程序 时间：
2015-03-31 18:07:14
阅读次数：
262
