##程序和数据流 Flink程序的基本构建块是streams和transformations（注意，DataSet在内部也是一个stream）。一个stream可以看成一个中间结果，而一个transformations是以一个或多个stream作为输入的某种operation，该operation利 ...
分类：
其他好文 时间：
2021-04-08 13:28:24
阅读次数：
0
sed编辑器：流编辑器（stream editor）。 vim：文本编辑器。 流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。 sed编辑器的处理流程 读入一行数据 根据给出的编辑器命令匹配数据 按照命令修改流中的数据 将新的数据输出到STDOUT sed命令格式 sed opti ...
分类：
系统相关 时间：
2021-04-08 13:24:35
阅读次数：
0
1.1 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue） ， 主要应用于大数据实时处理领域 1.2 消息队列 1.2.1 传统消息队列的应用场景 ? 使用消息队列的好处 1） 解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2） ...
分类：
其他好文 时间：
2021-03-30 13:07:59
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 ...
分类：
其他好文 时间：
2021-03-02 12:28:59
阅读次数：
0
1 概述 sort命令、uniq命令、join命令、cut命令、paste命令、split命令、tr命令和tar命令，能够实现对文件记录排序、统计、合并、提取、粘贴、分隔、过滤、压缩和解压等功能。 2 sort命令 定义 sort命令将输入文件看做由多条记录组成的数据流，而记录由可变宽度的字段组成， ...
分类：
编程语言 时间：
2021-02-20 12:29:58
阅读次数：
0
simd优化是使用Intel或者编译期厂商提供的simd库，来对代码中并行计算的部分，进行优化的一种手段。全称Single Instruction Multiple Data，单指令多数据流。是一种采用一个控制器来控制多个处理器，同时对一组数据（又称“数据向量”）中的每一个分别执行相同的操作从而实现 ...
分类：
其他好文 时间：
2021-02-19 13:27:46
阅读次数：
0
什么是网络策略 在Kubernetes平台中，要实现零信任网络的安全架构，Calico与istio是在Kubernetes集群中构建零信任网络必不可少的组件。 而建立和维护整个集群中的“零信任网络”中，网络策略的功能在操作上大致可以总结为使用资源配置模板来管理控制平面数据流。说白了讲网络策略就是用来 ...
分类：
Web程序 时间：
2021-02-17 15:00:58
阅读次数：
0
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2021-01-27 13:42:33
阅读次数：
0
流（Stream） Stream是数据渠道，用于操作数据源（集合、数组等）所生成的元素序列。 “集合讲的是数据，流讲的是计算”！ 注意： 1）Stream 不会自己存储元素 2）Stream 不会改变源对象。相反，Stream会返回一个持有结果的新Stream 3）Stream 操作是延迟执行的。这 ...
分类：
其他好文 时间：
2021-01-18 11:42:13
阅读次数：
0
hbase写数据流程 ?先从 zk找到meta表的region位置，然后读取meta表中的数据，meta表中存储了用户表的region信息 根据namespace、表名和rowkey信息。找到写入数据对应的 region信息 找到这个region对应的regionServer，然后发送请求 把数据分 ...
分类：
其他好文 时间：
2021-01-18 11:07:30
阅读次数：
0
