码迷,mamicode.com
首页 >  
搜索关键字:流式    ( 1406个结果
流数据处理介绍
原文引用https://www.dazhuanlan.com/2019/08/25/5d625f4bb2308/ Apache Flink是一个分布式流计算引擎,开发者可以在其上快速实现流式计算。Apache Flink起源2009年在德国柏林理工大学成立的‘Stratosphere’项目。2014... ...
分类:其他好文   时间:2019-08-25 20:05:05    阅读次数:140
Java8 新特性之流式数据处理
一. 流式处理简介 在我接触到java8流式处理的时候,我的第一感觉是流式处理让集合操作变得简洁了许多,通常我们需要多行代码才能完成的操作,借助于流式处理可以在一行中实现。 比如我们希望对一个包含整数的集合中筛选出所有的偶数,并将其封装成为一个新的List返回,那么在java8之前,我们需要通过如下 ...
分类:编程语言   时间:2019-08-22 19:14:07    阅读次数:85
Flueme学习之路(一)Flume的基础介绍
背景 Hadoop业务的整体开发流程: ? 从Hadoop的业务开发流程中可以看出,在大数据的业务处理流程中,对于数据的采集是十分重要的一步,也是不可避免的一步。 ? 许多公司的平台每天会产生大量的日志(一般为流式数据,如搜索引擎的pv,查询等),处理这些日志需要特定的日志系统。一般而言,这些系统需 ...
分类:Web程序   时间:2019-08-20 21:59:27    阅读次数:152
Flink 1.8 Generating Timestamps, Watermarks 生成时间戳, 水印
原文:https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/event_timestamps_watermarks.html 本节与基于事件时间运行的程序相关。 要处理事件时间,流式传输程序需要相应地设置时间特性。 final ...
分类:其他好文   时间:2019-08-20 21:49:22    阅读次数:313
Kafka
为什么要有Kafka? 在目前流量越来越大的时代,很多时候我们的服务器资源是没有利用到的,而是在某一瞬间才利用到这个资源,而这一瞬间正是服务器流量的高峰期,而如果没有先弄多几台服务器加强集群的性能,可能就在那一刻就挂了。 Kafka就是将这些流量进行一个排队缓存,一个一个来,相当于一个保安维护好整个 ...
分类:其他好文   时间:2019-08-20 01:25:10    阅读次数:85
网络编程
# 网络编程## 一、软件开发架构### 1.c/s架构(client/server)- c:客户端- s:服务端### 2.b/s架构(browser/server)- b:浏览器- s:服务器### 3.b/s架构本质上也是c/s架构- 手机端看上去c/s架构比较火,实际上b/s已经在崛起- 微... ...
分类:其他好文   时间:2019-08-20 00:45:03    阅读次数:95
关于重绘和回流(Repaint & Reflow)
1. 浏览器渲染机制 浏览器采用流式布局模型(Flow Based Layout) 浏览器会把HTML解析成DOM,把CSS解析成CSSOM,DOM和CSSOM合并就产生了渲染树(Render Tree)。 有了RenderTree,我们就知道了所有节点的样式,然后计算他们在页面上的大小和位置,最后 ...
分类:其他好文   时间:2019-08-19 19:36:07    阅读次数:117
HDFS
HDFS 概念 1、概念 1.1、 HDFS - Hadoop File distributed filesystem, HDFS以流式数据访问模式来存储超大文件。 1.2、 HDFS 以块的方式存储数据。 HDFS 集群有两类节点的模式运行,一类是namenode 用来管理节点,一类是工作节点da ...
分类:其他好文   时间:2019-08-17 18:13:44    阅读次数:83
Spark(一)
大数据追求相关性,不追求因果性。 一、Spark目的 map reuce:先写入磁盘,再从网络读取磁盘数据,mapreduce只适合处理对速度不敏感的离线批量处理。 spark:在一个物理节点,用内存完成各种各样的计算。(有时也用磁盘) storm:流式,纯粹实时计算框架,吞吐量不高,每条数据过来直 ...
分类:其他好文   时间:2019-08-16 18:47:51    阅读次数:87
大数据架构(PB级)
1.随着互联网快速发展,数据量的快速膨胀,我们日增3000多亿数据量,因此需要针对PB级存储、几百TB的增量数据处理架构设计 2.系统逻辑划分总图: 暂不便透露 3.系统架构图: 4.大数据计算引擎我们是采用Apache Flink流式计算框架,并对其进行了一些优化,目前在生产环境,已经基本稳定运行 ...
分类:其他好文   时间:2019-08-15 12:51:51    阅读次数:131
1406条   上一页 1 ... 27 28 29 30 31 ... 141 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!