一、概述1.通过搭建高可用flume来实现对数据的收集并存储到hdfs上，架构图如下：二、配置Agent1.catflume-client.properties#namethecomponentsonthisagent声明source、channel、sink的名称
a1.sources=r1
a1.sinks=k1k2
a1.channels=c1
#Describe/configurethesource声明sour..
分类：
Web程序 时间：
2017-09-04 15:13:56
阅读次数：
371
目标：Flume实时监控目录sink到hdfs，再用sparkStreaming监控hdfs的这个目录，对数据进行计算 1、flume的配置，配置spoolDirSource_hdfsSink.properties，监控本地的一个目录，上传到hdfs一个目录下。 agent1.channels = ...
分类：
Web程序 时间：
2017-09-02 10:39:54
阅读次数：
315
在现实中我们会经常遇到这样的场景：有一个固定的数据源Source，我们希望按照程序运行状态来接驳任意数量的下游接收方subscriber、又或者我需要在程序运行时（runtime）把多个数据流向某个固定的数据流终端Sink推送。这就涉及到动态连接合并型Merge或扩散型Broadcast的数据流连接 ...
分类：
其他好文 时间：
2017-08-31 11:09:32
阅读次数：
225
Flume NG集群+Kafka集群整合： 修改Flume配置文件（flume-kafka-server.conf），让Sink连上Kafka hadoop1: hadoop2: 集群测试： hadoop3： hadoop1： 测试完毕，这样Flume+kafka就整合起来了，即Flume+Kafk ...
分类：
Web程序 时间：
2017-08-27 14:06:04
阅读次数：
298
/*管道（Pipe）*/ Java NIO 管道是 /*2 个线程*/ 之间的 /*单向*/数据连接 Pipe 有一个 source 通道 和 一个 sink 通道。数据会被写到 sink 通道，从source通道读取 Thread A > SinkChannel(Pipe) > SourceCha ...
分类：
其他好文 时间：
2017-08-26 18:24:21
阅读次数：
130
Flume NG概述： Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。其中Agent包含Source，Channel和 Sink，三者组建了一个Agent。三者的职责 ...
分类：
Web程序 时间：
2017-08-26 17:01:20
阅读次数：
246
一. UIPC： Audio Flinger获取到a2dp的hw module，然后蓝牙协议栈有专用于发送和接收media数据的线程，名称：btif_media_task. 蓝牙与Audio的通信则采用了socket的方式，管理socket的中间文件为：UIPC。主要的作用就是，接收Audio的控制 ...
分类：
其他好文 时间：
2017-08-25 19:20:44
阅读次数：
630
akka-stream的数据流可以由一些组件组合而成。这些组件统称数据流图Graph，它描述了数据流向和处理环节。Source,Flow,Sink是最基础的Graph。用基础Graph又可以组合更复杂的复合Graph。如果一个Graph的所有端口（输入、输出）都是连接的话就是一个闭合流图Runnab ...
分类：
其他好文 时间：
2017-08-21 14:00:31
阅读次数：
238
来自习题22.1-6 给出O(V)时间算法判断有向图G是否存在一个通用汇点(universal sink)。通用汇点指的是入度为|V|-1，出度为0的节点。 思路： 考虑图的邻接矩阵A，假设i为通用汇点，则对于0<=j<n，有A[i][j]=0，且对于所有0<=k<n and k != i，有A[k ...
分类：
编程语言 时间：
2017-08-20 18:26:14
阅读次数：
235
这篇博客侧重于了解OkHttp的网络部分，包括Socket的创建、连接，连接池等要点。OkHttp对Socket的流操作使用了Okio进行了封装，本篇博客不做介绍，想了解的朋友可以参考拆轮子系列：拆Okio。 OkHttp中关于网络的几个概念 下面的主要翻译自OkHttp的官方文档，查看原文. UR ...
分类：
Web程序 时间：
2017-08-20 16:58:59
阅读次数：
223
