一、文件管理-高级 1.文件处理三剑客 1.1sed sed 流式编辑器,主要擅长对文件的编辑操作,实现定制好编辑文件的指令,然后让sed自动完成对文件的整体编辑 一次只处理一行,对内存无压力 >>>用于处理大文件 命令: sed # 参数: -r 支持扩展正则元字符 -i 输出内容到屏幕中 -i ...
分类:
其他好文 时间:
2021-07-05 18:18:59
阅读次数:
0
https://kafka.apachecn.org/intro.html 一、kafka能做什么? 构造实时流数据管道,它可以在系统或应用之间可靠地获取数据。 (相当于message queue) 构建实时流式应用程序,对这些流数据进行转换或者影响。 (就是流处理,通过kafka stream t ...
分类:
其他好文 时间:
2021-07-01 17:05:23
阅读次数:
0
TCP系列01—概述及协议头格式 一、TCP简单介绍 我们经常听人说TCP是一个面向连接的(connection-oriented)、可靠的(reliable)、字节流式(byte stream)传输协议, TCP的这三个特性该怎么理解呢? 面向连接:在应用TCP协议进行通信之前双方通常需要通过三次 ...
分类:
其他好文 时间:
2021-07-01 16:43:49
阅读次数:
0
文章目录一、kafka是什么?二、使用步骤1. 安装1.引入库2.消费端:读取数据3.发送端:发送数据总结一、kafka是什么?kafka 是一个分布式流式计算平台。而在大部分企业开发人员中,都是把 kafka 当成消息系统使用,即它是一个分布式消息队列,很少会使用 kafka 的流式计算。它有四个 ...
分类:
编程语言 时间:
2021-06-30 17:50:03
阅读次数:
0
一 sed介绍 ? sed全称(stream editor)流式编辑器,Sed主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等,工作流程如下 sed 是一种在线的、非交互式的编辑器,它一次处理一行内容。处理时,把当前处理的行存储在 临时缓冲区中,称为“模式空间”(pattern ...
分类:
其他好文 时间:
2021-06-29 16:05:54
阅读次数:
0
粘包问题及解决方案 一 什么是粘包问题 前提:只有TCP会发生粘包现象,UDP永远不会粘包。 粘包问题本质上就是接收方不知道消息的边界,不知道一次性该提取多少字节流用于解析消息,造成的消息解析错误问题。 二 为何么会有粘包问题 1 socket收发消息的原理之流式协议 ? 发送端可以是1K1K的发送 ...
分类:
其他好文 时间:
2021-06-25 17:27:19
阅读次数:
0
一、Lambda表达式 Lambda表达式是一个匿名函数,即没有函数名的函数。从动态引用到动态定义,可以简化写法。 对比两种写法: Lambda表达式的语法如下: (parameters) -> expression 或 (parameters) ->{ statements; } 还有如下特性: ...
分类:
编程语言 时间:
2021-06-22 17:48:49
阅读次数:
0
1 kafka概述 什么是Kafka 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2)Kafka最初是由LinkedIn公司开发,并于 ...
分类:
其他好文 时间:
2021-06-20 17:36:06
阅读次数:
0
let fs = require('fs'); // 1 创建写入流 // fs.createWriteStream(文件路径,[可选择的配置操作]) // 2 let ws = fs.createWriteStream("hello.txt",{flag:'w',encoding:"utf8"}) ...
分类:
其他好文 时间:
2021-06-15 17:37:58
阅读次数:
0
Flink 状态 Flink状态: 状态可以是历史结果,也可以是存储的数据,归根揭底是保存的内容就是状态。 流式计算分为有状态的和无状态的: 无状态的流处理:观察每个独立的事件,并根据最后一个事件的结果进行输出。 有状态的流处理:基于多个事件输出结果。流与流之间的关联操作、流与静态表或动态表之间的关 ...
分类:
其他好文 时间:
2021-06-02 20:06:01
阅读次数:
0