原文引用https://www.dazhuanlan.com/2019/08/25/5d625f4bb2308/ Apache Flink是一个分布式流计算引擎,开发者可以在其上快速实现流式计算。Apache Flink起源2009年在德国柏林理工大学成立的‘Stratosphere’项目。2014... ...
分类:
其他好文 时间:
2019-08-25 20:05:05
阅读次数:
140
一. 流式处理简介 在我接触到java8流式处理的时候,我的第一感觉是流式处理让集合操作变得简洁了许多,通常我们需要多行代码才能完成的操作,借助于流式处理可以在一行中实现。 比如我们希望对一个包含整数的集合中筛选出所有的偶数,并将其封装成为一个新的List返回,那么在java8之前,我们需要通过如下 ...
分类:
编程语言 时间:
2019-08-22 19:14:07
阅读次数:
85
背景 Hadoop业务的整体开发流程: ? 从Hadoop的业务开发流程中可以看出,在大数据的业务处理流程中,对于数据的采集是十分重要的一步,也是不可避免的一步。 ? 许多公司的平台每天会产生大量的日志(一般为流式数据,如搜索引擎的pv,查询等),处理这些日志需要特定的日志系统。一般而言,这些系统需 ...
分类:
Web程序 时间:
2019-08-20 21:59:27
阅读次数:
152
原文:https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/event_timestamps_watermarks.html 本节与基于事件时间运行的程序相关。 要处理事件时间,流式传输程序需要相应地设置时间特性。 final ...
分类:
其他好文 时间:
2019-08-20 21:49:22
阅读次数:
313
为什么要有Kafka? 在目前流量越来越大的时代,很多时候我们的服务器资源是没有利用到的,而是在某一瞬间才利用到这个资源,而这一瞬间正是服务器流量的高峰期,而如果没有先弄多几台服务器加强集群的性能,可能就在那一刻就挂了。 Kafka就是将这些流量进行一个排队缓存,一个一个来,相当于一个保安维护好整个 ...
分类:
其他好文 时间:
2019-08-20 01:25:10
阅读次数:
85
# 网络编程## 一、软件开发架构### 1.c/s架构(client/server)- c:客户端- s:服务端### 2.b/s架构(browser/server)- b:浏览器- s:服务器### 3.b/s架构本质上也是c/s架构- 手机端看上去c/s架构比较火,实际上b/s已经在崛起- 微... ...
分类:
其他好文 时间:
2019-08-20 00:45:03
阅读次数:
95
1. 浏览器渲染机制 浏览器采用流式布局模型(Flow Based Layout) 浏览器会把HTML解析成DOM,把CSS解析成CSSOM,DOM和CSSOM合并就产生了渲染树(Render Tree)。 有了RenderTree,我们就知道了所有节点的样式,然后计算他们在页面上的大小和位置,最后 ...
分类:
其他好文 时间:
2019-08-19 19:36:07
阅读次数:
117
HDFS 概念 1、概念 1.1、 HDFS - Hadoop File distributed filesystem, HDFS以流式数据访问模式来存储超大文件。 1.2、 HDFS 以块的方式存储数据。 HDFS 集群有两类节点的模式运行,一类是namenode 用来管理节点,一类是工作节点da ...
分类:
其他好文 时间:
2019-08-17 18:13:44
阅读次数:
83
大数据追求相关性,不追求因果性。 一、Spark目的 map reuce:先写入磁盘,再从网络读取磁盘数据,mapreduce只适合处理对速度不敏感的离线批量处理。 spark:在一个物理节点,用内存完成各种各样的计算。(有时也用磁盘) storm:流式,纯粹实时计算框架,吞吐量不高,每条数据过来直 ...
分类:
其他好文 时间:
2019-08-16 18:47:51
阅读次数:
87
1.随着互联网快速发展,数据量的快速膨胀,我们日增3000多亿数据量,因此需要针对PB级存储、几百TB的增量数据处理架构设计 2.系统逻辑划分总图: 暂不便透露 3.系统架构图: 4.大数据计算引擎我们是采用Apache Flink流式计算框架,并对其进行了一些优化,目前在生产环境,已经基本稳定运行 ...
分类:
其他好文 时间:
2019-08-15 12:51:51
阅读次数:
131