fluem中出现，transactionCapacity查询一下，得出一下这些： 最近在做flume的实时日志收集，用flume默认的配置后，发现不是完全实时的，于是看了一下，原来是memeryChannel的transactionCapacity在作怪，因为他默认是100，也就是说收集端的sink ...
分类：
Web程序 时间：
2017-05-23 21:36:23
阅读次数：
513
配置环境 Hadoop部署 配置Hadoop-Master、Hadoop-Slave主机间的免key登录： 在各个主机上安装JDK 安装hadoop 测试访问OK 部署Hive 解压部署、配置环境变量: 安装部署mysql环境 修改HIVE配置文件: 初始化Mysql 启动Hive 部署Flume ...
分类：
Web程序 时间：
2017-05-23 18:48:59
阅读次数：
345
分布式消息中间件：spring mvc +mybatis + KafKa+Flume+Zookeeper 分布式缓存：Redis spring mvc +mybatis + 分布式文件：FastDFS 负载均衡：spring mvc +mybatis + Keepalived+Nginx+... ...
分类：
编程语言 时间：
2017-05-23 15:58:23
阅读次数：
248
我们一起来了解Source、Channel和Sink的全链路过程。 一、Flume架构分析 这个图中核心的组件是： Source，ChannelProcessor，Channel，Sink。他们的关系结构如下： Source { ChannelProcessor { Channel ch1 Chan ...
分类：
Web程序 时间：
2017-05-23 13:09:29
阅读次数：
239
利用Apache Flume 读取JMS 消息队列消息。并将消息写入HDFS，flume agent配置例如以下： flume-agent.conf #name the components on this agent agentHdfs.sources = jms_source agentHdfs ...
分类：
Web程序 时间：
2017-05-21 11:44:11
阅读次数：
638
写在前面 因为本地电脑没装flume，nginx各种。所以之前写Streaming程序的时候，都是打包了放到集群上跑。就算我在程序代码里不停地logger，调试起来也hin不方便。 于是本地写了两个程序，在intellj调试。 主要就是包括两个程序： 一个是GenerateChar.scala用来向 ...
分类：
其他好文 时间：
2017-05-20 11:14:28
阅读次数：
209
工作需要，需要过滤出含有指定的IP段的话单，编写的脚本名字叫 filter.sh #!/bin/bash TARGET_PATH=/data/flume/flume_exec_log/Dst_for_flume.txt 此处直接写绝对路径的指定输出文件 PATTERN1="133.23.10[123 ...
分类：
其他好文 时间：
2017-05-19 18:40:25
阅读次数：
193
背景有一个4台机器的分布式服务，不多不少，上每台机器上查看日志比较麻烦，用Flume，Logstash、ElasticSearch、Kibana等分布式日志管理系统又显得大材小用，所以想到了centos自带的rsyslog。简介Rsyslog可以简单的理解为syslog的超集，在老版本的Linux系统中，RedHatEnterpris..
分类：
其他好文 时间：
2017-05-18 20:27:19
阅读次数：
306
Overview source采集的日志首先会传入ChannelProcessor, 在其内首先会通过Interceptors进行过滤加工，然后通过ChannelSelector选择channel。 Source和Sink之间是异步的，sink只需要监听自己关系的Channel的变化即可。 sink ...
分类：
Web程序 时间：
2017-05-18 15:47:19
阅读次数：
400
分布式 分布式服务：Dubbo+Zookeeper+Proxy+Restful 分布式消息中间件：KafKa+Flume+Zookeeper 分布式缓存：Redis 分布式文件：FastDFS 负载均衡：Keepalived+Nginx+Proxy(三重负载) SSM组合+ sprin... ...
分类：
其他好文 时间：
2017-05-17 15:15:13
阅读次数：
156
