1、创建一个agent，sink类型需指定为自定义sink vi /usr/local/flume/conf/agent3.conf agent3.sources=as1 agent3.channels=c1 agent3.sinks=s1 agent3.sources.as1.type...
分类：
Web程序 时间：
2015-05-24 17:15:54
阅读次数：
342
之前虽然接触过log4j 但是一直不知道怎么一回事，只知道这个log4j.jar是进行日志操作的，jar包可以去这里下载：jarfire (https://cn.jarfire.org/)
最近学习SpringMVC 看资料又遇到了log4j ，感觉这个在今后的开发中应该很有用，所以就想好好学习下。
首先先讲讲如何在工程中配置吧：
1.把log4j.jar 拷贝到你所建工程的 WEB_INF...
分类：
其他好文 时间：
2015-05-19 19:14:02
阅读次数：
130
近日，在测试Flume结合Kafka结合SparkStreaming的实验。今天把Flume与Spark的简单结合做出来了，这里记录一下，避免网友走弯路。有不周到的地方还希望路过的大神多多指教。实验比较简单，分为两部分：一、使用avro-client发送数据二、使用netcat发送数据首先Spark程序需要Flume..
分类：
Web程序 时间：
2015-05-19 07:32:40
阅读次数：
1969
一：日志的组成部分1.1错误日志1.2一般查询日志1.3慢查询日志1.4二进制日志1.5中继日志1.6事务日志二：存储引擎介绍2.1MyISAM2.2InnoDB2.3MRG_MYISAM2.4CSV2.5ARCHIVE2.6MEMORY2.7BLACKHOLE1.1错误日志：主要是用于记录服务器运行当中的错误信息服务器启动或者关闭过程中产生的..
分类：
数据库 时间：
2015-05-17 09:31:49
阅读次数：
256
Linux运维第二阶段（十三）日志管理一、1、在centos6.x中日志服务由rsyslogd取代了syslogd，新特点：基于TCP传输日志信息；更安全的网络传输方式；有日志消息的及时分析框架；后台数据库；配置文件中可写简单的逻辑判断；兼容syslogd。２、系统中常见的日志文件：/var/log/cron..
分类：
系统相关 时间：
2015-05-17 02:09:57
阅读次数：
265
简单罗列基础命令，只分享我的想法！rsyslog简述（1）关于rsyslog介绍rsyslog服务是多线程的日志管理工具，因为是多线程所以比之前的syslog处理事务的能力更加出色，支持SSL/TCP/UDP/TLS/RELP，并且日志可以记录在MySQL/PGSQL/Oracle等关系库中。rsyslog是CentOS提供的，主要是..
分类：
其他好文 时间：
2015-05-16 18:40:15
阅读次数：
215
先贴上异常信息 1 08 May 2015 17:55:23,751 WARN [New I/O worker #1] (org.apache.flume.source.AvroSource.append:350) - Avro source r1: Unable to process eve...
分类：
Web程序 时间：
2015-05-15 17:09:08
阅读次数：
437
在这里看到的解决方法https://issues.apache.org/jira/browse/SPARK-1729请是个人理解，有问题请大家留言。其实本身flume是不支持像KAFKA一样的发布/订阅功能的，也就是说无法让spark去flume拉取数据，所以老外就想了个取巧的办法。在flume中其...
分类：
Web程序 时间：
2015-05-13 16:04:15
阅读次数：
266
有两种方式，一种是sparkstreaming中的driver起监听，flume来推数据；另一种是sparkstreaming按照时间策略轮训的向flume拉数据。最开始我以为只有第一种方法，但是尼玛问题在于driver起来的结点是没谱的，所以每次我重启streaming后发现尼玛每次都要修改flu...
分类：
Web程序 时间：
2015-05-13 12:23:56
阅读次数：
207
本文介绍初次使用Flume传输数据到MongoDB的过程，内容涉及环境部署和注意事项。1 环境搭建 需要jdk、flume-ng、mongodbjavadriver、flume-ng-mongodb-sink（1）jdk下载地址：http://www.oracle.com/technetwor...
分类：
Web程序 时间：
2015-05-13 00:25:34
阅读次数：
185
