kafka核心概念与应用场景解析 Kafka的主要特点 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务，它主要用于处理活跃的流式数据。 kafka的主要特点： 同时为发布和订阅提 ...
分类：
其他好文 时间：
2020-04-06 17:42:09
阅读次数：
99
1、 kafka的介绍 kafka是linkedin公司开源捐献给apache的一个消息队列的框架，底层语言用的是scala kafka是一个分布式的消息队列，提供了类似于JMS的特性，不是标准的JMS的实现，也有生产者，消费者，topic等组件 2、 消息队列的作用 解耦，异步，并行 3、 kak ...
分类：
其他好文 时间：
2020-04-01 20:59:46
阅读次数：
93
记录下和kafka相关的概念原理以及常用工具，文中很多理解参考文末博文、书籍还有前辈。 kafka特性 kafka是由领英(LinkedIn)提供给Apache，是一个消息引擎，现在发展成为还可以进行流处理（kafka streams）的一个平台，以下是它的架构图。 （1）用的是发布 订阅模式，多个 ...
分类：
其他好文 时间：
2020-03-21 00:00:40
阅读次数：
74
总结一下大数据开发基本常识： JDK（做java开发必备的开发工具包） Hadoop（Apache开发的分布式系统的基础框架）三大组件：MapReduce，Yarn，Hdfs Sqoop（数据迁移，清洗） Kettle（数据清洗，格式转换） Hive（基于Hadoop的数据仓库，并不是数据库，需要安 ...
分类：
系统相关 时间：
2020-03-15 22:17:01
阅读次数：
90
本篇原文作者是 LinkedIn 的 Swapnil Ghike，这篇文章讲述了 LinkedIn 的 Feed 产品的 GC 优化过程，虽然文章写作于 April 8, 2014，但其中的很多内容和知识点非常有学习和参考意义。 背景 高性能应用构成了现代网络的支柱。LinkedIn 内部有许多高吞 ...
分类：
编程语言 时间：
2020-03-10 12:24:48
阅读次数：
58
Azkaban简单定时任务-使用教程 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 1.登录Azkaban ...
分类：
其他好文 时间：
2020-03-10 12:18:41
阅读次数：
88
1、Kafka简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。之后贡献给Apache基金会成为Apache的一个顶级项目。Kafka是一种快速、可扩 ...
分类：
其他好文 时间：
2020-02-04 14:02:15
阅读次数：
58
Apache Kafka是一个开放源代码流处理软件平台，用于处理实时数据存储。Apache Kafka在两方（即发送方和接收方）之间充当经纪人。它一天可以处理大约数万亿个数据事件。Apache Kafka是一个基于分布式流式处理过程的软件平台。Apache Kafka是一个发布-订阅消息传递系统，它... ...
分类：
Web程序 时间：
2020-01-11 15:20:11
阅读次数：
112
Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides ...
分类：
其他好文 时间：
2020-01-08 20:48:59
阅读次数：
77
33岁程序员，年薪30万：“幸亏我被裁了”！ https://mp.weixin.qq.com/s/-isZKyNUzPQ3JGDY1prv2w 以下文章来源于临公子的后花园 ，作者临公子 临公子的后花园 我是临公子，LinkedIn中国专栏作者、简书优秀作者，混迹多个理财/职场平台。这里是一枚工科 ...
分类：
其他好文 时间：
2020-01-07 00:43:44
阅读次数：
94
