葵花宝典 flume 1. Flume组成，Put事务，Take事务 2. Flume拦截器 3. Flume Channel选择器 4. Flume监控器 5. Flume采集数据会丢失吗?（防止数据丢失的机制） 6. Flume内存 7. FileChannel优化 1. Flume组成，Put ...
分类：
Web程序 时间：
2020-10-29 10:09:33
阅读次数：
36
使用零拷贝对文件高效的切片和合并 对文件的切片/合并在应用中是一个很常见的需求，使用 FileChannel的 transferTo / transferFrom 的零拷贝方法（需要操作系统支持），可以高效的完成。 切片 /** * 对文件按照指定大小进行分片，在文件所在目录生成分片后的文件块儿 * ...
分类：
其他好文 时间：
2020-07-01 12:19:31
阅读次数：
70
1，kafka包含3个组件：source、channel、sink source：1.7以上的版本提供了 TaildirSource，支持断点续传，1.6前的版本，需要自己开发程序，存储flume读取的文件位置，以便后续接着读取数据。 channel： FileChannel：数据存储在磁盘上，稳定 ...
分类：
Web程序 时间：
2020-06-17 11:20:34
阅读次数：
72
nio使用通道和缓冲区来进行数据的读写操作。 FileChannel 对文件进行操作 SocketChannel tcp ServerSocketChannel tcp DatagramChannel udp 一般来说分为下面几步：1、建立通道2、创建缓冲区3、使用通道对缓冲区进行读写操作 建立通道 ...
分类：
编程语言 时间：
2020-06-03 23:31:57
阅读次数：
75
使用一个缓冲区进行读写操作： public static void main(String[] args) throws IOException { FileInputStream fileInputStream = new FileInputStream("1.txt"); FileChannel ...
分类：
其他好文 时间：
2020-05-12 17:19:21
阅读次数：
103
batch 发送，batch 存储(可压缩, FileChannel 顺序写盘)，batch 拉取(sendFile) 查看 log： kafka-run-class.bat kafka.tools.DumpLogSegments --files D:/tmp/kafka-11-logs/zhang ...
分类：
其他好文 时间：
2020-05-02 00:16:20
阅读次数：
81
FileChannel实现文件复制 // 1、当文件大小小于2GB时，这种方式没有什么大问题，但是如果文件小大超过2GB，这种方式就会数据丢失 // 测试文件大小：8832KB public static void ioOption() throws IOException { // 文件输入流通道 ...
分类：
其他好文 时间：
2020-04-18 11:29:50
阅读次数：
81
上篇学习了NIO的buffer，继续来学习channel，类图如下(注：为了不让图看起来太复杂，隐藏了一些中间的接口) Channel派生了很多子接口，其中最常用的有FileChannel(用于文件操作)以及SocketChannel、ServerSocketChannel(用于网络通讯)，下面用几 ...
分类：
其他好文 时间：
2020-02-24 00:35:36
阅读次数：
61
一、Selector&Channel 1.1：各种channel 写这个模型需要提前了解Selector以及Channel，之前记录过FileChannel，除此之外还有以下几种Channel： ServerSocketChannel：用于监听新的TCP连接的通道，负责读取&响应，通常用于服务端的实 ...
分类：
编程语言 时间：
2020-01-08 19:00:08
阅读次数：
93
[TOC] NIO FileChannel源码分析 目录 "NIO 概览" "NIO Buffer" "NIO Channel" "NIO Channel接口分析" "NIO SocketChannel源码分析" "NIO FileChannel源码分析" 前言 本来是想学习Netty的，但是Net ...
分类：
其他好文 时间：
2019-12-23 13:03:33
阅读次数：
101
