Flink：ApacheFlink是一个计算框架和分布式处理引擎，用于对***和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。Flink主要特点：1、高吞吐、低延迟、纯流式架构；2、支持对乱序事件的处理；3、有状态、提供exactly-once计算；4、高度灵活的窗口机制；5、失败恢复、故障转移、水平扩展；6、批处理、流处理统一的APINBI大数据可视
分类：
其他好文 时间：
2020-06-11 21:28:52
阅读次数：
114
JDK8引入Stream编程 函数式接口: 函数描述符 * Runnable ()-> Void * Callable ()-> T 接口名 方法名 函数描述符 含义 | Predicate<T> | test() | T->boolean | 判断 | | Consumer<T> | accept ...
分类：
其他好文 时间：
2020-06-11 16:32:44
阅读次数：
40
#### 1. 浏览器渲染机制 - 浏览器采用流式布局模型（`Flow Based Layout`） - 浏览器会把`HTML`解析成`DOM Tree`，解析`css`构建`render`树（将css代码解析成树形的数据结构，然后结合DOM合并成render树） - 有了`RenderTree`， ...
分类：
其他好文 时间：
2020-06-08 16:10:30
阅读次数：
73
Checkpoint & Snapshot 检查点是Flink为流计算过程提供的容错和故障恢复机制。当程序出错时，Flink会重启受到影响的那部分算子及计算逻辑，并将它们重置到最后一次成功checkpoint时的状态。每次成功的checkpoint产生的“状态数据”其实就是这个流式计算任务在那一时刻 ...
分类：
其他好文 时间：
2020-06-07 12:38:52
阅读次数：
63
在人口流量红利不再，获客成本越来越高的时代，精益创业、MVP的概念已经深入人心，精细化运营也是大势所趋，而这些背后本质上都依赖数据化运营，那如何根据现有业务，快速从0开始打造一个契合业务的数据产品呢？本文将以某二手交易平台业务为基础，讲述整个数据平台从0到1的演进与实践，希望对大家能有所启发。1、背景在某二手交易平台开始大数据平台建设之前，整个数据从需求提出到研发流程再到数据报表、数据产品，也是经
分类：
其他好文 时间：
2020-06-06 23:08:48
阅读次数：
242
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。本文将为大家展现Alin... ...
分类：
编程语言 时间：
2020-06-05 23:23:35
阅读次数：
107
java8的流式处理极大了简化我们对于集合、数组等结构的操作，让我们可以以函数式的思想去操作，本篇文章将探讨java8的流式数据处理的基本使用。 一. 流式处理简介 在我接触到java8流式处理的时候，我的第一感觉是流式处理让集合操作变得简洁了许多，通常我们需要多行代码才能完成的操作，借助于流式处理 ...
分类：
编程语言 时间：
2020-05-31 19:39:34
阅读次数：
59
第1章 Flume概述 1.1 Flume定义 Flume(水槽) 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 在2009年Flume被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flum ...
分类：
Web程序 时间：
2020-05-30 19:56:36
阅读次数：
89
标准文档流 标准文档流，指的是元素排版布局过程中，元素会默认自动从左往右，从上往下的流式排列方式。前面的内容发生了变化，后面的内容位置也会随着发生变化。 HTML就是一种标准文档流文件。 微观现象 1. 空白折叠现象 2. 文字类的元素如果排在一行会出现一种高低不齐、底边对齐的效果 3. 自动换行， ...
分类：
Web程序 时间：
2020-05-30 10:34:39
阅读次数：
94
Spark Streaming 是什么 1、SPark Streaming 是 Spark 中一个组件，基于 Spark Core 进行构建，用于对流式进行处理，类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark ...
分类：
其他好文 时间：
2020-05-29 19:33:56
阅读次数：
53
