##下载解压##
[grid@hadoop4 ~]$ wget http://mirrors.cnnic.cn/apache/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz
[grid@hadoop4 ~]$ tar -zxf apache-flume-1.5.2-bin.tar.gz
[grid@hadoop4 ~]$ mv apache-flu...
分类：
Web程序 时间：
2015-04-12 21:13:34
阅读次数：
151
在进入主题之前,你必须对Spring 的AOP有一定的认识了解,本文还引用到一定的反射机制,请一并学之哦,谢谢大家支持!
首先,在构建好ssh框架后,我们先声明用来记录日志的实体类Log,代码如下:
package com.smartsoft.model;
import javax.persistence.Column;
import javax.persistence.Entity;
im...
分类：
编程语言 时间：
2015-04-10 11:33:58
阅读次数：
263
项目需要C++代码与flume对接，进而将日志写入HDFS。flume原生为java代码，原先的解决方案是通过JNI调用flume java方法。但是由于一来对jni的调用效率的担心，二来C++调用JNI需要照顾local reference和GC的问题，被搞得头痛了。一怒之下，重写代码了，使用C+...
分类：
编程语言 时间：
2015-04-09 19:15:42
阅读次数：
161
基于flume-ng中原有exec的source类型，通过tail依赖于操作系统去监听文件内容变化，其次，不支持断点续传的功能，特此，自行开发了一个组件，大家可以看看，一起探讨：
https://github.com/cwtree/flume-filemonitor-source
望各位不吝指教！...
分类：
Web程序 时间：
2015-04-09 15:32:12
阅读次数：
209
利用一个spark receiver 接收多个flume agentString host = args[0];
int port = Integer.parseInt(args[1]);
String host1 = args[2];
int port1 = Integer.parseInt(args[3]); InetSocketAddress address1 = new Ine...
分类：
Web程序 时间：
2015-04-08 18:09:37
阅读次数：
195
YARN的Shell操作与管理7.1启动YARNYARN有2个守护线程：ResourceManager、NodeManager。[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartresourcemanager[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartnodemanager7.2YARNWeb管理界面YARN管理地址：Resource..
分类：
其他好文 时间：
2015-04-07 19:59:25
阅读次数：
305
HDFS的Shell操作与管理6.1启动HDFSStep01：格式化NameNode[hadoop@hadoop-yarnhadoop-2.2.0]$bin/hdfsnamenode–format说明：namenode在格式化的时候会产生一个ClusterID。也可以在格式化的时候自定义指定ID：bin/hdfsnamenode–format–clusteridyarn-clusterStep02：启动Nam..
分类：
系统相关 时间：
2015-04-07 19:58:53
阅读次数：
326
1.1Hadoop简介从Hadoop官网获得Hadoop的介绍：http://hadoop.apache.org/(1)WhatIsApacheHadoop?TheApacheHadoopprojectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.TheApacheHadoopsoftwarelibraryisaframeworkthatallowsforthedistributedprocess..
分类：
Web程序 时间：
2015-04-07 19:58:46
阅读次数：
183
2.1下载地址1、ApacheHadoop（100%永久开源）下载地址：-http://hadoop.apache.org/releases.html-SVN：http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH（ClouderaDistributedHadoop，100%永久开源）下载地址：-http://archive.cloudera.com/cdh4/cdh/4/（是ta..
分类：
其他好文 时间：
2015-04-07 19:58:25
阅读次数：
363
