[toc] 1. "Kafka简介" Kafka是一种计算框架，结合了之前的MapReduce批处理和流式计算为一体，可以处理历史数据和实时数据。 流平台具有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 Kafka通常用于两大类应用 ...
分类：
其他好文 时间：
2020-03-07 21:04:52
阅读次数：
77
osi五层协议 1.应用层 要发送的数据 http/https协议 2.传输层 端口 tcp/udp协议 四层路由器/四层交换机 3.网络层 ip协议 路由器/三层交换价 4.数据链路层 mac地址 arp协议 网卡/交换机 5.物理层 tcp特点：面向链接 可靠 速度慢 长度不受限 全双工 流式传 ...
分类：
编程语言 时间：
2020-03-06 12:49:43
阅读次数：
80
数据处理框架 数据处理是一个非常宽泛的概念,数据处理框架在数据架构中,主要是用于数据移动和分析这两大功能当中.对于数据移动,有离线数据移动和实时数据移动,也可以叫做是批量数据移动和流式数据移动.而对于分析这一块,有离线数据分析和实时数据分析,也可以称作是批量数据分析和流式数据分析.离线和实时,批量和 ...
分类：
其他好文 时间：
2020-03-03 11:24:43
阅读次数：
95
2017年后，一大波网络喧嚣，说流式处理如何牛叉，如何高大上，抱歉，工作满负荷，没空玩那个； 今年疫情隔离在家，无聊，开始学习 KAFKA+Flink ，目前的打算是用爬虫抓取网页数据，传递到Kafka中，再用Flink计算。 个人性格原因，我不愿意过分沉迷于纸质或者电子教程材料，也不是特别喜欢网上 ...
分类：
其他好文 时间：
2020-03-02 01:04:26
阅读次数：
967
静态数据：比如数据仓库中的数据, 类似三峡水库中的水. (数据挖掘, OLAP 分析工具) 流数据: 网络监控, 传感检测, 大量的, 流式的数据(不断的产生, 源源不断的到达). 比如 PM2.5 的检测， 这种需要实时的监控和处理(分析). 流数据的特性 推送的方式: 实时查询的结果 流计算应用 ...
分类：
其他好文 时间：
2020-02-29 20:39:25
阅读次数：
96
原文链接：基本的 IO 接口 原文链接：方便的IO操作函数集 图片来源：图片显示来源 1. 1.1 io — 基本的 IO 接口 io 包为 I/O 原语提供了基本的接口。它主要包装了这些原语的已有实现。 由于这些被接口包装的I/O原语是由不同的低级操作实现，因此，在另有声明之前不该假定它们的并行执 ...
分类：
其他好文 时间：
2020-02-29 20:12:55
阅读次数：
70
linq的延时执行是指枚举时才去一个个生成结果元素。 流式处理是linq延时执行的一种，在生成元素前不需要获取所有源元素，只要获取到的源元素足够计算时，便生成结果元素。 流式处理的标准查询运算符返回值通常是个普通序列。 ToAsEnumerable namespace ConsoleApp4 { c ...
分类：
其他好文 时间：
2020-02-28 17:13:37
阅读次数：
75
Flink 1.10.0 于近期刚发布，释放了许多令人激动的新特性。尤其是 Flink SQL 模块，发展速度非常快，因此本文特意从实践的角度出发，带领大家一起探索使用 Flink SQL 如何快速构建流式应用。 本文将基于 Kafka, MySQL, Elasticsearch, Kibana，使 ...
分类：
数据库 时间：
2020-02-28 16:02:58
阅读次数：
85
2020年2月25日，在加利福尼亚州桑尼维尔，JFrog，因通过持续更新流程支持流式软件（Liquid Software）而闻名的通用DevOps技术领导者，宣布推出业界里程碑式的解决方案——“JFrog Platform”。这是世界上第一个支持混合云、多云架构的通用DevOps平台，能够在同一平台 ...
分类：
其他好文 时间：
2020-02-28 15:32:22
阅读次数：
87
