kafka 权威指南中文版问题导读1. 为什么数据管道是数据驱动企业的一个关键组成部分？2. 发布/订阅消息的概念及其重要性是什么？第一章 初识 kafka企业是由数据驱动的。我们获取信息，分析它，处理它，并创造更多的产出。每一个应用程序都会产生数据，无论是日志消息、指标、用户行为、输出报文或者其他... ...
分类：
其他好文 时间：
2017-12-25 14:58:07
阅读次数：
353
Apache Kafka 是什么？ Kafka 是一个开源的分布式流处理平台，其简化了不同数据系统的集成。流指的是一个数据管道，应用能够通过流不断地接收数据。Kafka 作为流处理系统主要有两个用处： 相比于其它技术，Kafka 拥有更高的吞吐量，内置分区，副本和容错率。这些使得 Kafka 成为大 ...
分类：
编程语言 时间：
2017-10-12 14:35:28
阅读次数：
860
logstash logstash是什么呢, 他是一个数据管道, JRuby编写的运行在java虚拟机的具有收集, 分析和转发数据流功能的工具 特性: 安装 1), wget下载 2), 解压即安装 3), 测试下: 然后可以输入hello, 回车后给你返回 要等一会, 刚开始还以为没启动呢 然后输 ...
分类：
其他好文 时间：
2017-08-23 10:24:38
阅读次数：
337
迭代器 迭代器模式是和为模式的一种范例，我们访问数据序列中所有的元素，不用关心序列是什么类型。从数据管道中数据经过一系列不同的转换或过滤后从管道的另一端出来。 像数组、集合等已经内置了迭代器，我们可以直接进行foreach，而我们自定义的类型，自然是无法进行这个操作的，对于自定义的类型实现迭代器模式 ...
1、kafka应用场景 基于流数据的发布订阅消息系统、实时流数据的高效异步通信、基于流数据的高可用分布式存储！ 不同的系统之间实时流数据管道; 2、官方一句话概括 kafka是一个分布式流数据平台：可以被用作消息队列，企业级消息系统，具备很强的容错能力;实时处理的能力; 3、kafka的使用 一般都 ...
分类：
其他好文 时间：
2017-07-01 11:58:58
阅读次数：
196
Kafka学习分享 Kafka学习分享 .1 什么是Kafka Apache Kafka是一个开源的流处理平台，由 Apache Software Foundation使用Scala and Java编写发展而来。Kafka?用于构建实时数据管道和流媒体应用。 它具有水平可扩展性，容错性，快速性，并 ...
分类：
其他好文 时间：
2017-06-17 21:33:51
阅读次数：
242
一．管道 1．管道的概念 管道是单向的、先进先出的，它把一个进程的输出和另一个进程的输入连接在一起。 一个进程（写进程）在管道的尾部写入数据，另一个进程（读进程）从管道的头部读出数据。 数据被一个进程读出后，将被从管道中删除，其它读进程将不能再读到这些数据。 管道提供了简单的流控制机制，进程试图读空 ...
分类：
其他好文 时间：
2017-06-03 19:19:31
阅读次数：
129
我们为什么要搭建该系统 Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。如今它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。 活动流数据是全 ...
分类：
其他好文 时间：
2017-05-27 10:52:27
阅读次数：
450
简介 airflow 是一个使用python语言编写的data pipeline调度和监控工作流的平台。Airflow被Airbnb内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用Python来编写的平台上运行。 Airflow是一种允许工作流开发人员轻松创建、维护和周期性地调度运行工作 ...
分类：
编程语言 时间：
2017-05-01 15:06:09
阅读次数：
970
<一> 阅读目录 1.分装RedisUtil 构建redis连接池 2.使用Junit Test Redis String,List,Set Hash等基本数据类型存储 3.Redis 高级应用，事务以及管道应用 ...
分类：
编程语言 时间：
2017-04-13 16:38:17
阅读次数：
138
