Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万，这其中的原由值得我们一探究竟。本文属于Kafka知识扫盲系列，让我们一起掌握 ...
分类：
其他好文 时间：
2019-05-30 10:44:27
阅读次数：
99
原文链接：https://www.jianshu.com/p/4ae1faea733b 随着企业的发展，他们的工作流程变得更加复杂，越来越多的有着错综复杂依赖关系的工作流需要增加监控，故障排除。如果没有明确的血缘关系。就可能出现问责问题，对元数据的操作也可能丢失。这就是有向无环图（DAG），数据管道 ...
分类：
其他好文 时间：
2019-01-28 13:47:50
阅读次数：
508
通过Airflow UI，您可以轻松监控数据管道并对其进行故障排除。 以下是您可以在Airflow UI中找到的一些功能和可视化的快速概述。 DAGs查看 您环境中的DAG列表，以及一组有用页面的快捷方式。 您可以一目了然地查看成功，失败或当前正在运行的任务数量。 https://airflow.a ...
分类：
其他好文 时间：
2018-11-29 20:08:08
阅读次数：
202
从用户发请求到服务器响应返回数据 请求从 Request进去 先经过 Middleware（中间件） 然后经过AuthoriationFilters授权验证（token验证和 多租户验证） 在经过资源过滤（中间件） 接着到ModelBinding（数据绑定 前端传的Json转成对象 这里有基本的数据 ...
分类：
Web程序 时间：
2018-11-03 20:13:00
阅读次数：
389
内容： 一、前言 二、相关概念 三、开始工作 四、启动项目起来 五、项目结构 六、设计理念 七、路由 八、部署线上后端服务 同步交流学习社区： https://www.mwcxs.top/page/439 一、前言（坑爹的玩意） 微信小程序自从2017年，被各种看好，不过一段时间过去了还是反响平平， ...
分类：
微信 时间：
2018-11-02 23:40:35
阅读次数：
310
大数据目前的主要趋势（自己理解） 文件系统、部署、各种流和开源工具 ETL开发（BI项目） 数据统计分析 数据挖掘、机器学习 图片来自 浅析 一、关于kakfa kafka相关 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越 ...
分类：
其他好文 时间：
2018-10-17 18:32:26
阅读次数：
167
kafka是用于构建实时数据管道和数据流的应用程序。具有实时横向扩展、高吞吐量、支持大量堆积具有容错性和速度快等特点。它是一个高性能分布式消息系统。通常一个分布式流数据平台它具有三个特点：发布和订阅功能，类似于消息系统以容错的方式记录流处理流Kafka通常用于构建在系统或应用之间的实时数据流管道、构建实时流应用程序用于转换和响应数据流
分类：
其他好文 时间：
2018-07-01 11:40:42
阅读次数：
135
用kafka构建数据管道 把kafka看着是一个数据的端点，怎么把kafka数据移到mysql,elasticSearchs 这里面介绍kafka connect API怎么样帮忙我们把数据移到我们想要的位置。 构建数据管道时需要考虑的问题 1.及时性，kafka作为一个基于流的数据平台，提供了可靠 ...
分类：
其他好文 时间：
2018-06-29 00:07:16
阅读次数：
175
1. 创建组件 ng generate component heroes 2. {{ hero.name }} {{}}语法绑定数据 3. 管道pipe 格式化数据 {{ hero.name | uppercase }} Details 4. [(ngModel)] 双向绑定，form需要引入For ...
分类：
其他好文 时间：
2018-05-21 12:25:17
阅读次数：
314
关键字：Go语言，管道，取消机制，并发，sync.WaitGroup，包引用，通道，defer，select GO并发模式：管道与取消 简介 Go的并发能力可以使构建一个流数据管道变得非常容易，并且可以高校地使用机器I/O和多核处理器。这篇文章展示了一些例子，包括管道，对操作失败的处理技术。 管道的 ...
分类：
其他好文 时间：
2018-01-19 19:50:15
阅读次数：
220
