Kafka快速入门（一）——Kafka简介一、ApacheKafka简介1、ApacheKafka简介ApacheKafka是一款开源的消息引擎系统，同时也是分布式流处理平台。消息引擎系统是一组在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递的规范。2、Kafka设计目标Kafka的设计目标如下：（1）以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间
分类：
其他好文 时间：
2020-05-10 10:23:30
阅读次数：
116
一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，
分类：
其他好文 时间：
2020-05-07 09:17:48
阅读次数：
76
本文摘自书籍《Flink基础教程》 一、一致性的三种级别 当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是“正确性级别”的另一种说法，即在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比。在流处理中，一致性分为 3 个级别。 at-most-once：数据最多被 ...
分类：
其他好文 时间：
2020-05-06 22:08:07
阅读次数：
113
流计算概述 流数据是指在时间分布上和数量上无线的一系列动态数据集合。数据记录是流数据的最小组成单元。 流数据特征 数据快速持续到达，无穷无尽 数据来源众多，格式复杂 数据量大，不关心存储 注重数据的整体价值，不过分关注个别数据 数据顺序颠倒或者不完整 流计算 流数据被处理后，一部分进入数据库成为静态 ...
分类：
其他好文 时间：
2020-05-01 17:08:46
阅读次数：
96
从自上而下的角度去理解 Kafka 竟然发现了很多之前学习过程中忽略掉的东西 更特别地是，我发现这种学习方法能够帮助我维持较长时间的学习兴趣，不会阶段性地产生厌烦情绪 Apache Kafka 是消息引擎系统，也是一个分布式流处理平台 LinkedIn 最开始有强烈的数据强实时处理方面的需求，其内部 ...
分类：
其他好文 时间：
2020-04-27 13:42:32
阅读次数：
68
一、Kafka介绍 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等 ...
分类：
系统相关 时间：
2020-04-23 12:02:24
阅读次数：
86
1、IO字符流 （1）字符输入流Reader：字符输入流类的超类，共性的成员方法： 1》int read();读取单个字符并返回； 2》int read(char[] c);一次读取多个字符，将字符读入数组； 3》void close();关闭该流，并释放与之关联的所有资源； （2）文件字符输入流F ...
分类：
其他好文 时间：
2020-04-20 23:39:06
阅读次数：
73
使用场景 大数据：数据量和速率激增，数据类型越来越复杂 应用开发：消息引擎，应用解耦，分布式存储，流处理 Kafka的体系结构 topic : 主题（消息的逻辑分类） 客户端： 细分为生产者（朝主题发送消息）， 消费者（读取主题的消息）； 服务端： broker (1 处理客户端发送和提供消费支持 ...
分类：
其他好文 时间：
2020-04-17 11:08:28
阅读次数：
73
[toc] 一、kafka简介 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、H ...
分类：
系统相关 时间：
2020-04-12 14:23:35
阅读次数：
109
Scrapy 架构 它可以分为如下的几个部分。 Engine引擎(大总管)，用来处理整个系统的数据流处理，触发事务，是整个框架的核心。 Item，项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该对象。 Scheduler， 调度器，用来接受引擎发过来的请求并加入队列中，并在引擎再次请求的时候 ...
分类：
其他好文 时间：
2020-04-10 19:45:00
阅读次数：
89
