[ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:256)] FATAL: Spool Directory source source1: { spoolDir: /flume/log/ }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.
java.nio.charset.MalformedInputException: Input length = 1
分类：
编程语言 时间：
2019-05-23 00:52:39
阅读次数：
156
rsyslogd作为CentOS:7系统自带的日志管理工具，为很多服务提供了便捷的日志管理接入方案，然而 CentOS:7的官方镜像 默认是不支持rsyslogd的。我们做个实验： 1）启动测试容器 2）安装rsyslogd 3）测试rsyslogd 我们可以看到并没有任何输出。 4）分析原因 原因 ...
分类：
其他好文 时间：
2019-05-21 17:28:59
阅读次数：
784
linux学习第十一周总结http协议和APACHE实现LAMP架构日志管理网络文件共享服务一、HTTP协议和apache1.HTTP简介HTTP协议是HyperTextTransferProtocol（超文本传输协议）的缩写,是用于从万维网（WWW:WorldWideWeb）服务器传输超文本到本地浏览器的传送协议。HTTP是一个基于TCP/IP通信协议来传递数据（HTML文件,图片文件,查询结果
分类：
系统相关 时间：
2019-05-21 09:20:52
阅读次数：
159
1、实时处理框架 即从上面的架构中我们可以看出，其由下面的几部分构成： Flume集群 Kafka集群 Storm集群 从构建实时处理系统的角度出发，我们需要做的是，如何让数据在各个不同的集群系统之间打通（从上面的图示中也能很好地说明这一点），即需要做各个系统之前的整合，包括Flume与Kafka的 ...
分类：
Web程序 时间：
2019-05-20 21:21:03
阅读次数：
275
基本搭建： 1）解压下载的flume（安装jdk1.6及其以上） 2）在conf文件夹里面建立example.conf文件 3)启动flume 4）新建窗口运行 5）在该窗口输入，另一个窗口会输出记录 flume对接不同的数据源 1、Avro Source 监听AVRO端口来接受来自外部AVRO客户 ...
分类：
Web程序 时间：
2019-05-20 17:17:44
阅读次数：
450
ASA作为状态化防火墙，它也可以进行管理上网行为，我们可以利用ASA防火墙iOS的特性实施URL过滤可以对访问的网站域名进行控制，从而达到某种管理目的。实施URL过滤一般分成以下三个步骤：1、创建class-map（类映射），识别传输流量。2、创建policy-map（策略映射），关联class-map。3、应用policy-map到接口上。（个人感觉这玩意用到的地方很少，大部分都是使用第三方软件
分类：
Web程序 时间：
2019-05-20 15:09:57
阅读次数：
240
本文介绍flume读取kafka数据的方法 代码： /******************************************************************************* * Licensed to the Apache Software Foundatio ...
分类：
Web程序 时间：
2019-05-19 12:22:50
阅读次数：
139
一，日志基础 日志：记录时间，地点，任务，事件 格式：日期时间 主机 进程[pid]: 事件内容 rsyslog 特性： 多线程，UDP, TCP, SSL, TLS, RELP，MySQL, PGSQL, Oracle实现日志存储 强大的过滤器，可实现过滤记录日志信息中任意部分，自定义输出格式 日 ...
分类：
其他好文 时间：
2019-05-18 09:49:29
阅读次数：
158
1.监控端口数据： flume启动： 参数说明： --conf conf/ ：表示配置文件存储在conf/目录 --name a1 ：表示给agent起名为a1 --conf-file job/flume-telnet.conf ：flume本次启动读取的配置文件是在job文件夹下的flume-te ...
分类：
Web程序 时间：
2019-05-18 09:34:03
阅读次数：
214
先把flume包上传并解压 给flume创建一个软链接 给flume配置环境变量 使环境变量生效 验证flume版本信息 然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 先用一个最简单的例子来测试一下程序环境是否正常 先在flume的conf目录下新 ...
分类：
Web程序 时间：
2019-05-16 17:56:50
阅读次数：
148
