ApacheSpark是行业中流行和广泛使用的大数据工具之一。ApacheSpark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apacheflink。ApacheSpark简介ApacheSpark是为快速计算而设计的开源，闪电般快速的集群计算框架。ApacheSpark扩展了MapReduce模型，以有效地将其用于多种计算，包括流处理和交互式查询。ApacheSpark的主要功能
分类：
Web程序 时间：
2020-06-12 09:14:25
阅读次数：
61
Flink：ApacheFlink是一个计算框架和分布式处理引擎，用于对***和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。Flink主要特点：1、高吞吐、低延迟、纯流式架构；2、支持对乱序事件的处理；3、有状态、提供exactly-once计算；4、高度灵活的窗口机制；5、失败恢复、故障转移、水平扩展；6、批处理、流处理统一的APINBI大数据可视
分类：
其他好文 时间：
2020-06-11 21:28:52
阅读次数：
114
一、kafka 介绍 1.1、kafka 介绍 Kafka 是一个分布式消息引擎与流处理平台，经常用做企业的消息总线、实时数据管道，有的还把它当做存储系统来使用。 早期 Kafka 的定位是一个高吞吐的分布式消息系统，目前则演变成了一个成熟的分布式消息引擎，以及流处理平台。 Kafka 主要起到削峰 ...
分类：
其他好文 时间：
2020-06-04 19:38:12
阅读次数：
162
一、引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心)二、调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的 ...
分类：
其他好文 时间：
2020-05-29 13:44:14
阅读次数：
83
根据流是否直接与某特定地方相接（磁盘、内存、外设）可分节点流，处理流。 节点流：可从某个特定节点读写数据 FileReader就是一类、 处理流：对一已存流进行连接封装，使用封装的的流的功能实现IO 如BufferedReader是对Reader进行封装使用的。 常见的节点流： 节点流：FileIn ...
分类：
编程语言 时间：
2020-05-28 16:50:21
阅读次数：
75
Kafka快速入门（八）——ConfluentKafka简介一、ConfluentKafka简介1、ConfluentKafka简介2014年，Kafka的创始人JayKreps、NahaNarkhede和饶军离开LinkedIn创立Confluent公司，专注于提供基于Kafka的企业级流处理解决方案，并发布了ConfluentKafka。ConfluentKafka分为开源版和企业版，企业版收
分类：
其他好文 时间：
2020-05-27 23:19:00
阅读次数：
130
（1）代码示例 1 import org.apache.flink.streaming.api.scala._ 2 3 object StreamWordCount { 4 def main(args:Array[String]):Unit={ 5 //创建流处理的执行环境 6 val env=St ...
分类：
其他好文 时间：
2020-05-26 22:09:36
阅读次数：
92
kafka 相信都有听说过，不管有没有用过，在江湖上可以说是大名鼎鼎，就像天龙八部里的乔峰。国际惯例，先介绍生平事迹 简介 Kafka 是由 Apache软件基金会 开发的一个开源流处理平台，由 Scala 和 Java 编写。Kafka是一种高吞吐量的 分布式 ，支持分区（partition），多 ...
分类：
Web程序 时间：
2020-05-20 12:19:58
阅读次数：
73
2016年是移动直播爆发年，不到半年的时间内无数移动直播App掀起了全民直播的热潮。很多不同产品都在自己的应用里面增加了直播模块，希望能趁着这波移动直播的风潮能快速推进自己的产品。而在电商类的APP中，淘宝率先在手机直播里面试水电商直播，并用实际的数据证明了这是一种非常具备前景的新模式。 本文将重点 ...
分类：
其他好文 时间：
2020-05-20 10:51:09
阅读次数：
118
字符串和文本处理库 Conversion库：对C++类型转换的增强，提供更强的类型安全转换、更高效的类型安全保护、进行范围检查的数值转换和词法转换。 Format库：实现类似printf的格式化对象，可以把参数格式化到一个字符串，而且是完全类型安全的。 IOStream库 ：扩展C++标准库流处理， ...
分类：
其他好文 时间：
2020-05-12 09:39:27
阅读次数：
77
