摘要:摘要:SSH++shiro+restful+bootstrapjava架构java企业架构springmvc+mybatis+KafKa+Flume+Zookeeperj2ee分布式架构dubbo+springmvc+mybatis+ehcache+redis分布式架构分布式消息中间件：springmvc+mybatis+KafKa+Flume+Zookeeper分布式缓存：Redisspringmvc+mybatis+分布式..
分类：
编程语言 时间：
2017-06-02 01:02:24
阅读次数：
270
在前篇几十条业务线日志系统如何收集处理？中已经介绍了Flume的众多应用场景，那此篇中先介绍如何搭建单机版日志系统。 环境 CentOS7.0 Java1.8 下载 官网下载 http://flume.apache.org/download.html 当前最新版 apache-flume-1.7.0 ...
分类：
Web程序 时间：
2017-05-31 10:18:58
阅读次数：
219
从bin/flume 这个shell脚本能够看到Flume的起始于org.apache.flume.node.Application类，这是flume的main函数所在。 main方法首先会先解析shell命令，假设指定的配置文件不存在就甩出异常。 依据命令中含有"no-reload-conf"參数 ...
分类：
编程语言 时间：
2017-05-29 12:03:03
阅读次数：
286
分布式架构spring mvc +mybatis +shiro+ quartz 分布式服务：spring mvc +mybatis + Dubbo+Zookeeper+Proxy+Restful 分布式消息中间件：spring mvc +mybatis + KafKa+Flume+Zooke... ...
分类：
编程语言 时间：
2017-05-27 13:36:58
阅读次数：
640
分布式、微服务、云架构,Spring,SpringMVC,Spring MVC+Mybatis,Dubbo+Zookeeper,Redis分布式缓存, 分布式服务：Dubbo+Zookeeper+Proxy+Restful 分布式消息中间件：KafKa+Flume+Zookeeper 分布式缓存... ...
分类：
编程语言 时间：
2017-05-25 13:20:43
阅读次数：
264
Flume下载后，解压，新增一个配置文件，写入配置即可 我将配置文件写在 conf 下，取名为 flume-conf-spooldir.properties Flume 运行命令： bin/flume-ng agent --conf conf --conf-file conf/flume-conf- ...
分类：
Web程序 时间：
2017-05-24 21:13:37
阅读次数：
207
在上一篇中讲了Flume NG配置模块主要的接口的类，PropertiesConfigurationProvider提供了基于properties配置文件的静态配置的能力，这篇细说一下PollingPropertiesFileConfigurationProvider提供的执行时动态改动配置并生效的 ...
分类：
Web程序 时间：
2017-05-24 19:23:19
阅读次数：
155
常见的开源数据收集系统有： 非结构数据（日志）收集 Flume 结构化数据收集（传统数据库与 Hadoop 同步） Sqoop：全量导入 Canal（alibaba）：增量导入 Databus（linkedin）：增量导入 Flume是什么： 由Cloudera公司开源 分布式、可靠、高可用的海量日 ...
分类：
Web程序 时间：
2017-05-24 19:15:25
阅读次数：
407
fluem中出现，transactionCapacity查询一下，得出一下这些： 最近在做flume的实时日志收集，用flume默认的配置后，发现不是完全实时的，于是看了一下，原来是memeryChannel的transactionCapacity在作怪，因为他默认是100，也就是说收集端的sink ...
分类：
Web程序 时间：
2017-05-23 21:36:23
阅读次数：
513
配置环境 Hadoop部署 配置Hadoop-Master、Hadoop-Slave主机间的免key登录： 在各个主机上安装JDK 安装hadoop 测试访问OK 部署Hive 解压部署、配置环境变量: 安装部署mysql环境 修改HIVE配置文件: 初始化Mysql 启动Hive 部署Flume ...
分类：
Web程序 时间：
2017-05-23 18:48:59
阅读次数：
345
