我们可能都知道浏览器含有一个渲染引擎，用来渲染窗口所展示的内容。默认情况下，渲染引擎可以显示html、xml文档及图片，它也可以借助插件（一种浏览器扩展）显示其他类型数据，例如使用PDF阅读器插件，用于显示PDF格式。但是其具体的渲染原理和流程估计也有很多人都不知道或者不清楚吧。这些天研究了一下浏览 ...
分类：
其他好文 时间：
2017-04-12 03:08:25
阅读次数：
180
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。通过agent接收日志，然后暂存起来，再发送到目的地。3.agent里面包含3个核心组件：source、channel、sink。 3 ...
分类：
Web程序 时间：
2017-04-10 13:08:21
阅读次数：
178
Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。 如下图: 向管道写数据: 从管道读数据: 1. 从读取管道的数据，需要访问source通道。 2. 调用source通道的read()方法来读取数 ...
分类：
编程语言 时间：
2017-04-08 23:56:47
阅读次数：
435
package me; import static org.mockito.Matchers.booleanThat; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; i... ...
分类：
数据库 时间：
2017-03-30 13:32:50
阅读次数：
344
数据结构： 字段解释： payload type: 0x60(96), dynamic type type 定义： https://www.iana.org/assignments/rtp-parameters/rtp-parameters.xhtml https://en.wikipedia.or ...
分类：
其他好文 时间：
2017-03-29 16:00:09
阅读次数：
181
在HDFS中，文件只作为目录项存在，在文件关闭前，其长度一直显示为0。如果在一段时间内将数据写到文件中，但却没有将其关闭，那么一旦客户端出现网络中断，什么都得不到，只有一个空白的文件。 Flume的agent由三个部件构成：source、channel、sink. 其结构图如下： 三者之间的关系如下 ...
分类：
Web程序 时间：
2017-03-24 00:01:23
阅读次数：
286
Flume与Logstash相比，个人的体会如下： Logstash比较偏重于字段的预处理；而Flume偏重数据的传输； Logstash有几十个插件，配置灵活；FLume则是强调用户的自定义开发（source和sink的种类也有一二十个吧，channel就比较少了）。 Logstash的input ...
分类：
Web程序 时间：
2017-03-22 00:38:22
阅读次数：
185
版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]一、TransactioninterfaceTransaction接口是基于flume的稳定性考虑的。所有主要的组件（sources、sinks、channels)都必须使用FlumeTransaction。我们也可以理解Transaction接口就是flume的事务，sources和sinks..
分类：
Web程序 时间：
2017-03-15 19:19:00
阅读次数：
281
在实际使用中发现Flume内置的基于正则的解析方式非常耗时，有非常大的提升空间。如果你不需要配置按时间戳解析时间，那这篇文章对你用处不大，hdfs sink对应的解析时间戳的代码位于org.apache.flume.sink.hdfs.HDFSEventSink的process()方法中，涉及两句代 ...
分类：
Web程序 时间：
2017-03-14 19:35:03
阅读次数：
250
Flume介绍 http://flume.apache.org/FlumeUserGuide.html 一、Flume架构图 <!--more--> 含义 Source 规定收集数据的来源 Channel 相当于一个管道，连接source和sink Sink flume agent收集到数据后，数据 ...
分类：
Web程序 时间：
2017-03-12 16:44:36
阅读次数：
215
