1，kafka包含3个组件：source、channel、sink source：1.7以上的版本提供了 TaildirSource，支持断点续传，1.6前的版本，需要自己开发程序，存储flume读取的文件位置，以便后续接着读取数据。 channel： FileChannel：数据存储在磁盘上，稳定 ...
分类：
Web程序 时间：
2020-06-17 11:20:34
阅读次数：
72
nio使用通道和缓冲区来进行数据的读写操作。 FileChannel 对文件进行操作 SocketChannel tcp ServerSocketChannel tcp DatagramChannel udp 一般来说分为下面几步：1、建立通道2、创建缓冲区3、使用通道对缓冲区进行读写操作 建立通道 ...
分类：
编程语言 时间：
2020-06-03 23:31:57
阅读次数：
75
流：是一组有序的数据序列，以先进先出方式发送信息的通道 流读写文件操作步骤:创建File类File file=new File(String Pathname）——创建合适的流——读操作——关闭流（File指物理文件或目录） Pathname路径C：\\test.txt或C:/test.txt lo ...
分类：
其他好文 时间：
2020-05-31 11:09:09
阅读次数：
55
启动方式 1、 mysqld_safe &（推荐）：这个脚本会监控mysqld的状态，日志会记录到文件里 2、 mysqld & 日志打印到屏幕上 3、 mysql.server 调用的执行过程：systemd >/etc/init.d/mysqld >mysql.server >mysqld_sa ...
分类：
数据库 时间：
2020-05-24 23:43:26
阅读次数：
593
1 重点： 1.1 关闭输入流输出流顺序 1.2 demo对比，本节目的：展现传统关闭流方式的繁琐 1.3 demo对比自己错误，字节读取的时候用while循环 1.4 demo对比自己错误，输入流输出流的创建 fileInputStream = new FileInputStream("lib2/ ...
分类：
编程语言 时间：
2020-05-24 19:32:29
阅读次数：
62
java.io包提供了一些接口和类，对文件进行基本的操作，包括对文件和目录属性的操作，对文件的读写等等。 File类的常用方法： 创建和删除文件 Java中的流 使用流的四个步骤 1.创建File类 2.创建合适的流 3.读操作 4.关闭流 //1.创建File类 File file = new F ...
分类：
其他好文 时间：
2020-05-18 00:49:26
阅读次数：
64
转自 https://www.jianshu.com/p/5841df465eb9 我们来聊聊GZIPOutputStream 和 GZIPInputStream, 如果不关闭流会引起的问题，以及GZIPStream申请和释放堆外内存的流程， Let's do it! 引子 在我的工程里面又一个工具 ...
分类：
编程语言 时间：
2020-05-14 15:11:19
阅读次数：
92
使用一个缓冲区进行读写操作： public static void main(String[] args) throws IOException { FileInputStream fileInputStream = new FileInputStream("1.txt"); FileChannel ...
分类：
其他好文 时间：
2020-05-12 17:19:21
阅读次数：
103
batch 发送，batch 存储(可压缩, FileChannel 顺序写盘)，batch 拉取(sendFile) 查看 log： kafka-run-class.bat kafka.tools.DumpLogSegments --files D:/tmp/kafka-11-logs/zhang ...
分类：
其他好文 时间：
2020-05-02 00:16:20
阅读次数：
81
FileChannel实现文件复制 // 1、当文件大小小于2GB时，这种方式没有什么大问题，但是如果文件小大超过2GB，这种方式就会数据丢失 // 测试文件大小：8832KB public static void ioOption() throws IOException { // 文件输入流通道 ...
分类：
其他好文 时间：
2020-04-18 11:29:50
阅读次数：
81
