IDEA查看源码 IDEA快捷键 1 查看接口的实现类：Ctrl+Alt+B 选中按快捷键，然后跳到实现类的地方去 2 切换页面：Alt+<- 和 Alt+-> Alt+-> 3 查看Java方法调用树(被调/主调)：Ctrl+Alt+H 分为调用当前方法的树、当前方法调用的下级方法 4 查看类继承 ...
分类：
Web程序 时间：
2019-11-15 12:15:04
阅读次数：
91
1 目的 Spark Streaming整合Flume。参考官方整合文档（http://spark.apache.org/docs/2.2.0/streaming-flume-integration.html） 2 整合方式一：基于推 2.1 基本要求 flume和spark一个work节点要在同一 ...
分类：
Web程序 时间：
2019-11-02 12:16:54
阅读次数：
119
SparkStreaming SparkStreaming是一种微批处理，准实时的流式框架。数据来源包括：Kafka， Flume，TCP sockets，Twitter，ZeroMQ等 SparkStreaming与storm的区别： SparkStreaming微批处理数据，storm按条处理数 ...
分类：
其他好文 时间：
2019-11-01 09:47:37
阅读次数：
132
MyBatis 的初始化工作就是解析主配置文件，映射配置文件以及注解信息。 ...
分类：
其他好文 时间：
2019-10-29 09:22:18
阅读次数：
98
对于flume的增量抽取，首先想到的就是常用的那几种方法，监控日志，触发器，版本号，时间戳等等，虽然可以实现，但都对数据源有了一定限制，假如客户的系统内部表没有那些东西，这就是一件很难搞的事了，毕竟对方数据库不能随便动。 这个时候可以采用 $@$，它可以表示增量列上一次查询的值。，将它加入sql语句 ...
分类：
Web程序 时间：
2019-10-25 18:28:04
阅读次数：
272
Flume配置文件： 但是在启动Flume时，报以下错误： 解决方案： 由于用到了agent的sink是 org.apache.spark.streaming.flume.sink.SparkSink类型，需要把spark streaming flume sink_2.11 2.4.3.jar复制到 ...
分类：
Web程序 时间：
2019-10-16 13:43:59
阅读次数：
98
第1章 概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 下面我们来详细介绍一下Flume架构中的组件。 1.2.1 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送 ...
分类：
Web程序 时间：
2019-10-13 21:05:20
阅读次数：
155
配置hadoop环境 配置flume环境 配置flume文件 D:\Soft\apache-flume-1.8.0-bin\conf 将 flume-conf.properties.template 重新命名为 hdfs.properties # 组装 agenta1.sources = s1a1. ...
分类：
Web程序 时间：
2019-10-12 11:26:24
阅读次数：
252
1、前言 从druid的0.11版本开始，我就开始关注它，每一次的版本的更新，druid都会使用户体验、性能更好，从以前手写配置文件到可视化的界面操作，从实时节点进行任务提交到现在的索引服务等 流处理： 日志监控（Flume/Airflow） > 消息中间件（kafka、MQ） > 流处理（spar ...
分类：
Web程序 时间：
2019-10-11 18:03:32
阅读次数：
122
概述 Apache Flume是一个分布式，可靠且可用的系统，用于高效地收集，汇总和将来自多个不同源的大量日志数据移动到集中式数据存储。Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮 ...
分类：
Web程序 时间：
2019-10-10 10:30:27
阅读次数：
114
