声明：项目来源于网络，尊重原创，学习使用，仅在此记录 项目介绍 ssm仓库管理系统，功能模块：客户信息管理，供应商管理，货物管理，仓库管理，仓库管理员管理，仓库出入口管理，仓库库存记录管理，系统日志管理，文件上传下载管理 集成工具使用idea，基于maven构建的java web项目，持久层使用my ...
分类：
其他好文 时间：
2019-10-07 13:17:16
阅读次数：
182
大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： ...
分类：
其他好文 时间：
2019-10-06 16:48:10
阅读次数：
114
Photo by Janke Laskowski on Unsplash 参考书籍：《Flume构建高可用、可扩展的海量日志采集系统》 ——Hari Shreedharan 著 以下简称“参考书籍”，文中部分资料和图片会标注引用自书中。官方文档简称“官文”。 文章为个人从零开始学习记录，如有错误，还 ...
分类：
Web程序 时间：
2019-10-03 22:02:35
阅读次数：
136
Ganglia 由 gmond、gmetad 和 gweb 三部分组成。 gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、网络和活跃进程的数据等。 g ...
分类：
Web程序 时间：
2019-10-01 18:34:26
阅读次数：
146
Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。 Sink 是完全事务性的。 在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。 批量事件一旦成功写出到存储系统或 ...
分类：
Web程序 时间：
2019-10-01 09:59:54
阅读次数：
102
开源实现：https://github.com/keedio/flume-ng-sql-source 这里记录的是自己手动实现。 测试中要读取的表 记录表（必须），告诉 Flume 每次从哪开始读取 一、编写自定义 Source 1.添加 pom 依赖 2.编写类 MySQLSourceHelper ...
分类：
数据库 时间：
2019-09-29 19:58:38
阅读次数：
141
Source 是负责接收数据到 Flume Agent 的组件。 Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。 ...
分类：
Web程序 时间：
2019-09-28 23:44:45
阅读次数：
140
首先书写logback-spring.xml文件为: .yml文件的配置为: ...
分类：
编程语言 时间：
2019-09-28 23:33:26
阅读次数：
121
flume 三大组件 source 收集 channel 聚集 sink 输出 使用Flume关键就是写配置文件 A 配置source B 配置channel C 配置sink D 把以上3个组件串起来 1.通过IP端口 接收数据 启动agent flume-ng agent \ --name a1 ...
分类：
Web程序 时间：
2019-09-28 23:11:36
阅读次数：
122
由于现在使用日志可以省去在解决bug时候的很多麻烦, lomback为我们提供了很方便的打印日志的管理 引入lomback依赖: 使用注解 ...
分类：
其他好文 时间：
2019-09-28 20:24:03
阅读次数：
115
