非kerberos环境下，flume采集日志到kafka
分类：
Web程序 时间：
2019-07-16 22:42:50
阅读次数：
177
Flume背景及应用场景 Flume是什么？ 由Cloudera公司开源； 分布式、可靠、高可用的海量日志采集系统； 数据源可定制，可扩展; 数据存储系统可定制，可扩展。 中间件：屏蔽了数据源和数据存储系统的异构性 Flume特点 可靠性 保证数据不丢失 可扩展性高性能 各组件数目可扩展 - 吞吐率 ...
分类：
Web程序 时间：
2019-07-16 18:22:36
阅读次数：
139
在配置Linux的 Apache服务时，经常会遇到http403错误，我今天配置测试时也出现了，最后解决了，总结了一下。http 403错误是拒绝访问的意思，有很多原因的。还有，这些问题在win平台的Apache里一样会发生！我按照经验总结的主要有以下4种原因！ 本人测试的环境 是：Scientif ...
分类：
Web程序 时间：
2019-07-03 20:25:45
阅读次数：
167
端口和进程都存在，启动时发现有agent和agentd两个服务，推测是原先二进制安装的agent没有删除干净，与yum安装的agent冲突 Yum remove zabbix-agent netstat –nltp 仍看到10050端口存在，推测此时的端口为原先二进制安装的agent， vim za ...
分类：
其他好文 时间：
2019-07-03 10:38:21
阅读次数：
342
Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. ...
分类：
其他好文 时间：
2019-06-30 16:00:41
阅读次数：
116
下载flume： 1.官方网站下载： http://flume.apache.org/download.html 2.百度网盘资源: apache-flume-1.9.0-bin.tar 链接：https://pan.baidu.com/s/1gzTOfiSkvY3nsXap8kj6-Q 提取码：e ...
分类：
Web程序 时间：
2019-06-28 23:02:19
阅读次数：
189
1.6、flume案例一 1. 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求： 把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的 ...
分类：
Web程序 时间：
2019-06-25 11:52:54
阅读次数：
229
收集hive的log hive的运行日志： /home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6/log/hive.log* memory*hdfs /user/flume/hive-log 1.需要四个包： 传到/home/hadoop/CDH5.3.6/flume ...
分类：
Web程序 时间：
2019-06-23 20:43:26
阅读次数：
119
Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple ...
分类：
Web程序 时间：
2019-06-23 17:21:02
阅读次数：
191
一、基于xml的装配 Student.java XML配置 测试 二、基于Annotation（注解）的装配 Student,java XML配置 测试 ...
分类：
其他好文 时间：
2019-06-23 16:08:47
阅读次数：
94
