================================可用作时序的数据库:================================[时序]TimescaleDB, 基于 PostgreSQL, 支持 SQL.[时序]KairosDB, 基于 Cassandra, 不支持 SQL. ...
分类：
数据库 时间：
2020-01-12 18:38:07
阅读次数：
93
为什么说到数据流了呢，因为上一节中介绍了一下异步发送请求。同样，在数据流的处理上，C#也为我们提供几个有用的异步处理方法。而且，爬虫这生物，处理数据流是基础本能，比较重要。本着这个原则，就聊一聊吧。 我们经常使用到的流有文件流、内存流、网络流，爬虫与这三种流都有着密不可分的联系，可以联想以下这些场景 ...
Apache Kafka是一个开放源代码流处理软件平台，用于处理实时数据存储。Apache Kafka在两方（即发送方和接收方）之间充当经纪人。它一天可以处理大约数万亿个数据事件。Apache Kafka是一个基于分布式流式处理过程的软件平台。Apache Kafka是一个发布-订阅消息传递系统，它... ...
分类：
Web程序 时间：
2020-01-11 15:20:11
阅读次数：
112
维表JOIN 绕不过去的业务场景 在Flink 流处理过程中，经常需要和外部系统进行交互，用维度表补全事实表中的字段。 例如：在电商场景中，需要一个商品的skuid去关联商品的一些属性，例如商品所属行业、商品的生产厂家、生产厂家的一些情况； 在物流场景中，知道包裹id，需要去关联包裹的行业属性、发货 ...
分类：
其他好文 时间：
2020-01-11 00:17:57
阅读次数：
97
流式处理框架对比 Posted on 2017 07 05 23:36 天戈朱 阅读(9600) 评论(0) 编辑 收藏 分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce一样是一种通用计算框 ...
分类：
其他好文 时间：
2020-01-07 20:08:49
阅读次数：
183
Apache Flink Apache Flink 是一个兼顾高吞吐、低延迟、高性能的分布式处理框架。在实时计算崛起的今天，Flink正在飞速发展。由于性能的优势和兼顾批处理，流处理的特性，Flink可能正在颠覆整个大数据的生态。 DataSet API 首先要想运行Flink，我们需要下载并解压F ...
一个接受数字n作为参数，并返回从1到n的所有数字之和。 public static int intSum(int n) { return Stream.iterate(1, i -> i + 1) .limit(n) .reduce(0, Integer::sum); } 这是一个简单的顺序流，如果 ...
分类：
其他好文 时间：
2020-01-01 18:49:31
阅读次数：
82
基础概念 FlinkCEP 说明 一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。具备如下的特征： 目标：从有序的简单事件流中发现一些高阶特征 输入：一个或多个由简单事件构成的事件流 处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复 ...
分类：
其他好文 时间：
2019-12-30 10:00:03
阅读次数：
130
流处理中时间本质上就是一个普通的递增字段（long型，自1970年算起的微秒数），不一定真的表示时间。 watermark只是应对乱序的办法之一，大多是启发式的，在延迟和完整性之间抉择。（如果没有延迟，就不够完整；如果有延迟，极端情况就是批处理，当然完整性足够高） org.apache.flink. ...
分类：
其他好文 时间：
2019-12-21 20:34:39
阅读次数：
82
1. 简介 前边宏哥一边一边的喊框架，就如同一边一边的喊狼来了！狼来了！.....这回是狼没有来，框架真的来了。从本文开始宏哥将会一步一步介绍，如何从无到有地创建自己的第一个自动化测试框架。这一篇，我们介绍，如何封装自己的日志类和浏览器引擎类。 2. 创建项目层级结构 如何创建，怎么创建。这个就需要 ...
分类：
编程语言 时间：
2019-12-19 14:40:34
阅读次数：
98
