数据源Source RPC异构流数据交换 Avro Source Thrift Source 文件或目录变化监听 Exec Source Spooling Directory Source Taildir Source MQ或队列订阅数据持续监听 JMS Source SSL and JMS Sou ...
分类：
Web程序 时间：
2019-11-22 10:48:12
阅读次数：
84
Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat进行定制 RDBMS到HD ...
分类：
Web程序 时间：
2019-11-21 21:27:34
阅读次数：
113
什么是Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理 Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的T ...
分类：
其他好文 时间：
2019-11-21 13:56:11
阅读次数：
103
大数据从入门到入土 语言基础：java(Java se,javaweb) Linux 基础：Linux(shell,高并发架构,lucene,solr) 框架学习：Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume) ...
分类：
其他好文 时间：
2019-11-16 21:47:53
阅读次数：
107
https://www.cnblogs.com/qingyunzong/p/8994494.html ...
分类：
Web程序 时间：
2019-11-16 10:34:01
阅读次数：
56
目前我们使用的一个 b 端软件的报错日志分散在集群各处，现在想把它收集到一个地方然后统一丢进 Kafka 提供给下游业务进行消费。 我想到了 flume，之前让同事搭建的这次自己想多了解一些细节于是就开搞了。 首先还是下载 flume 的客户端，这里我使用最新版本 1.9.0 设置需要的 java ...
分类：
Web程序 时间：
2019-11-15 18:26:10
阅读次数：
89
IDEA查看源码 IDEA快捷键 1 查看接口的实现类：Ctrl+Alt+B 选中按快捷键，然后跳到实现类的地方去 2 切换页面：Alt+<- 和 Alt+-> Alt+-> 3 查看Java方法调用树(被调/主调)：Ctrl+Alt+H 分为调用当前方法的树、当前方法调用的下级方法 4 查看类继承 ...
分类：
Web程序 时间：
2019-11-15 12:15:04
阅读次数：
91
1 目的 Spark Streaming整合Flume。参考官方整合文档（http://spark.apache.org/docs/2.2.0/streaming-flume-integration.html） 2 整合方式一：基于推 2.1 基本要求 flume和spark一个work节点要在同一 ...
分类：
Web程序 时间：
2019-11-02 12:16:54
阅读次数：
119
SparkStreaming SparkStreaming是一种微批处理，准实时的流式框架。数据来源包括：Kafka， Flume，TCP sockets，Twitter，ZeroMQ等 SparkStreaming与storm的区别： SparkStreaming微批处理数据，storm按条处理数 ...
分类：
其他好文 时间：
2019-11-01 09:47:37
阅读次数：
132
对于flume的增量抽取，首先想到的就是常用的那几种方法，监控日志，触发器，版本号，时间戳等等，虽然可以实现，但都对数据源有了一定限制，假如客户的系统内部表没有那些东西，这就是一件很难搞的事了，毕竟对方数据库不能随便动。 这个时候可以采用 $@$，它可以表示增量列上一次查询的值。，将它加入sql语句 ...
分类：
Web程序 时间：
2019-10-25 18:28:04
阅读次数：
272
