（1） 相关博文地址： SpringBoot + Vue + ElementUI 实现后台管理系统模板 -- 前端篇（一）：搭建基本环境：https://www.cnblogs.com/l-y-h/p/12930895.html SpringBoot + Vue + ElementUI 实现后台管理 ...
分类：
编程语言 时间：
2020-06-28 14:51:27
阅读次数：
60
1.流的分类* 1.操作数据单位：字节流、字符流* 2.数据的流向：输入流、输出流* 3.流的角色：节点流、处理流 图示： 2.流的体系结构 说明：红框对应的是IO流中的4个抽象基类。蓝框的流需要大家重点关注。 3.重点说明的几个流结构 4.输入、输出的标准化过程4.1 输入过程① 创建File类的 ...
分类：
编程语言 时间：
2020-06-26 22:15:19
阅读次数：
59
一、流处理 1.1 静态数据处理 在流处理之前，数据通常存储在数据库，文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。 1.2 流 ...
分类：
其他好文 时间：
2020-06-26 20:02:43
阅读次数：
49
AI芯片体系结构目标图形处理 AI chip architecture targets graph processing 可编程图形流处理器（GSP）能够执行“直接图形处理、片上任务图管理和执行以及任务并行性”。设计GSP是为了满足人工智能处理的需求，而这些需求以前是GPU、CPU或DSP无法满足的 ...
分类：
其他好文 时间：
2020-06-26 10:45:50
阅读次数：
69
图中绿色的是数据的流向 我们看到图里有这么几个东西，分别是 Spiders：爬虫，定义了爬取的逻辑和网页内容的解析规则，主要负责解析响应并生成结果和新的请求 Engine：引擎，处理整个系统的数据流处理，出发事物，框架的核心。 Scheduler：调度器，接受引擎发过来的请求，并将其加入队列中，在引 ...
分类：
其他好文 时间：
2020-06-25 11:58:04
阅读次数：
46
CDH6.3.2集成flink的部署配置标签（空格分隔）：大数据平台构建一：flink的简介二：cdh6.3.2集成flink一：flink的简介ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运
分类：
其他好文 时间：
2020-06-22 09:30:23
阅读次数：
415
这是一个基于Spring Boot + Vue的直播数据可视化系统，实现了直播数据的可视化展示、分级权限管理、警报数据流处理、报表的统计与文件导出、实时事件通知等功能。 后端地址：LBMS 前端地址：LBMS-Web 预览 **实时数据总览页：**该页面根据用户身份自动重定向。页面上方通过四个卡片展 ...
分类：
其他好文 时间：
2020-06-21 19:32:43
阅读次数：
129
1. 引入 开源Apache Hudi项目为Uber等大型组织提供流处理能力，每天可处理数据湖上的数十亿条记录。 随着世界各地的组织采用该技术，Apache开源数据湖项目已经日渐成熟。 Apache Hudi（Hadoop Upserts Deletes and Incrementals）是一个数据 ...
分类：
Web程序 时间：
2020-06-21 13:52:56
阅读次数：
166
为什么要管理状态 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的数据有重复，我们想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入过的数据来判断去重 ...
分类：
其他好文 时间：
2020-06-20 11:32:28
阅读次数：
67
一、WaterMark作用 在使用 EventTime 处理 Stream 数据的时候会遇到数据乱序的问题，流处理从 Event(事 件)产生，流经 Source，再到 Operator，这中间需要一定的时间。虽然大部分情况下，传输到 Operator 的数据都是按照事件产生的时间顺序来的，但是也不 ...
分类：
其他好文 时间：
2020-06-18 19:56:39
阅读次数：
187
