window对象提供了一个fetch方法，用于实现基于promise的http请求。它取代了最早的XMLHttpRequest实现的ajax请求。 1. 基本内容 1. 基本语法 fetch方法返回一个promise对象。 const promise = fetch(url[, options]); ...
分类：
其他好文 时间：
2020-02-07 18:24:44
阅读次数：
743
什么是流式处理呢？这个问题其实我们大部分时候是没有考虑过的，大多数，我们是把流式处理和实时计算放在一起来说的。我们先来了解下，什么是数据流。数据流（事件流）数据流是无边界数据集的抽象我们之前接触的数据处理，大多都都是有界的。例如：处理某天的数据、某个季度的数据等无界意味着数据是无限地、持续增长的数据... ...
分类：
其他好文 时间：
2020-02-03 09:50:30
阅读次数：
88
前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学 ...
分类：
其他好文 时间：
2020-01-26 19:02:37
阅读次数：
63
去重计算应该是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过distinct的方式得到去重结果，而实时计算是一种增量、长期计算过程，我们在面对不同的场景，例如数据量的大小、计算结果精准度要求等可以使用不同的方案。此篇介 ...
分类：
其他好文 时间：
2020-01-12 22:11:42
阅读次数：
466
背景 公司一个项目的大数据平台进行改造，之前使用Structured Streaming作为实时计算框架，需要替换为替换为Kafka Streams，并使用SpringBoot包装，使其可以纳入微服务体系。然而由于之前并没有接触过SpringFramework相关技术，并且项目工期较为紧张，因此只好 ...
分类：
编程语言 时间：
2020-01-09 20:25:12
阅读次数：
100
系统架构介绍 整个实时监控系统的架构是先由 Flume 收集服务器产生的日志 Log 和前端埋点数据, 然后实时把这些信息发送到 Kafka 分布式发布订阅消息系统，接着由 Spark Streaming 消费 Kafka 中的消息，同时消费记录由 Zookeeper 集群统一管理，这样即使 Kaf ...
分类：
其他好文 时间：
2020-01-07 11:44:25
阅读次数：
100
1 序 对ETL系统中数据转换和存储操作的相关日志进行记录以及实时分析有助于我们更好的观察和监控ETL系统的相关指标（如单位时间某些操作的处理时间），发现系统中出现的缺陷和性能瓶颈。 由于需要对日志进行实时分析，所以Storm是我们想到的首个框架。Storm是一个分布式实时计算系统，它可以很好的处理 ...
分类：
其他好文 时间：
2020-01-06 22:42:07
阅读次数：
78
Apache Flink Apache Flink 是一个兼顾高吞吐、低延迟、高性能的分布式处理框架。在实时计算崛起的今天，Flink正在飞速发展。由于性能的优势和兼顾批处理，流处理的特性，Flink可能正在颠覆整个大数据的生态。 DataSet API 首先要想运行Flink，我们需要下载并解压F ...
从何说起 前些天和朋友讨论一个问题，他们的应用有几十万会员然后对应有积分，现在想做积分排名的需求，问有没有什么好方案。这个问题也算常见，很多地方都能看到，常规做法一般是数据定时跑批把计算结果到中间表然后直接查表就行，或者只显示个TOP N的排行榜，名次高的计算真实名次，名次比较低的直接显示在xxx名 ...
操作系统复习 第一章 操作系统概述 基本概念 1. 吞吐量：单位时间内系统能处理的工作量。 2. 进程：正在动态执行的程序 3. 实时操作系系统：实时计算。计算的正确性不仅依赖于系统计算的逻辑结果，还依赖于产生这个结果的时间一类的计算。 4. 操作系统的特征：现代操作系统大多支持多任务，具有并发、共 ...
分类：
其他好文 时间：
2019-12-21 17:08:32
阅读次数：
115
