Flume Kafka 测试案例，Flume 的配置。 1. 启动 kafka。 2. 创建 kafka topic，flume配置中的 topic 为 t1。 3. 启动 flume。 4. 启动 kafka 的消费者，来观察看是否成功。 5. 由于 flume 配置文件中监控的命令是 netca ...
分类：
Web程序 时间：
2019-07-28 20:18:07
阅读次数：
144
Spark-Streaming DirectKafka count 统计跟直接 kafka 统计类似，只不过这里使用的是 Direct 的方式，Direct方式使用的 kafka 低级API，不同的地方主要是在 createDirectStream这里。 统计代码如下 启动相关的 flume，kaf ...
分类：
其他好文 时间：
2019-07-28 19:56:51
阅读次数：
109
Streaming 统计来自 kafka 的数据，这里涉及到的比较，kafka 的数据是使用从 flume 获取到的，这里相当于一个小的案例。 1. 启动 kafka 2. 启动 flume flume 配置文件如下 这里 flume 是的数据是来自一个文件，只要这个文件有数据进入，就会被flume ...
分类：
其他好文 时间：
2019-07-28 19:55:02
阅读次数：
110
Flume应用开发 要求： Flume应用场景Flume的核心是把数据从数据源收集过来，在送到目的地。为了保证输送一定成功，发送到目的地之前，会先缓存数据，待数据真正的到达目的地后，删除自己缓存的数据。Flume采用流式方法采集和传输数据，程序配置好后，不需要外部条件触发下，一直监控数据源，源源不断 ...
分类：
Web程序 时间：
2019-07-28 17:10:09
阅读次数：
140
SparkStreaming整合flume 在实际开发中push会丢数据，因为push是由flume将数据发给程序，程序出错，丢失数据。所以不会使用不做讲解，这里讲解poll，拉去flume的数据，保证数据不丢失。 1.首先你得有flume 比如你有：【如果没有请走这篇：搭建flume集群(待定）】 ...
分类：
Web程序 时间：
2019-07-23 00:05:06
阅读次数：
168
准备工作： 1、到Flume官网下载apache-flume-1.8.0-bin.tar.gz 2、下载代码：https://github.com/javabigdataxin/FlumeExtend 在Flume的conf目录新建一个RollingFileSink.conf文件 a1.source ...
分类：
Web程序 时间：
2019-07-21 01:21:25
阅读次数：
170
测试flume，将数据送到hive表中，首先建表。 flume conf 配置如下： 这个时候如果启动flume的话会报错，需要将hive中的jar包移动到flume 中。 此时，在修改修改 hive-site.xml，将下面的值进行修改。 上面的配置完成之后，先启动 hive metastore， ...
分类：
Web程序 时间：
2019-07-20 12:57:59
阅读次数：
163
非kerberos环境下，flume采集日志到kafka
分类：
Web程序 时间：
2019-07-16 22:42:50
阅读次数：
177
Flume背景及应用场景 Flume是什么？ 由Cloudera公司开源； 分布式、可靠、高可用的海量日志采集系统； 数据源可定制，可扩展; 数据存储系统可定制，可扩展。 中间件：屏蔽了数据源和数据存储系统的异构性 Flume特点 可靠性 保证数据不丢失 可扩展性高性能 各组件数目可扩展 - 吞吐率 ...
分类：
Web程序 时间：
2019-07-16 18:22:36
阅读次数：
139
Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. ...
分类：
其他好文 时间：
2019-06-30 16:00:41
阅读次数：
116
