说起ELK相信大家都不陌生，他可不是一个软件，是三个软件 logstash，elasticsearch，Kibana 组成的可以打造大规模日志实时处理的系统。 Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存储起来，方便业务方检索查 ...
分类：
其他好文 时间：
2020-07-26 15:54:23
阅读次数：
71
一、Kafka 简介 1.基本概念 Kafka 是一个分布式的基于发布/订阅消息系统，主要应用于大数据实时处理领域，其官网是：http://kafka.apache.org/。Kafka 是一个分布式、支持分区的（Partition）、多副本的（Replica），基于 ZooKeeper 协调的发布 ...
分类：
编程语言 时间：
2020-07-22 15:56:17
阅读次数：
64
工欲善其事，必先利其器。 什么是Celery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 上面的图是一个利用Celery进行异步处理的架构，属于生产者－消费者模式，架构由三部分组成： 消息中间件（message broker）： ...
分类：
其他好文 时间：
2020-07-19 00:54:19
阅读次数：
106
一、什么是Celery 1.1、celery是什么 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task ...
分类：
Web程序 时间：
2020-07-02 22:01:32
阅读次数：
78
根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理这些数据将变得更加复杂和具有挑战性。例如移动应用广告、欺诈检测、出租车预订、患者监控等场景处理时，需要对实时数据进行实时处理，以便做出快速可行的决策。目前业界有开源不少实时计算引擎，以Apache基金会的两款开源实时计算引擎最受欢迎，它们分
分类：
其他好文 时间：
2020-06-20 09:12:52
阅读次数：
230
定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。 消息队列 Kafka 本质上是一个 MQ（Message Queue），使用消息队列的好处？（面试会问） 解耦：允许我们独立的扩展或修改队列两边的处理过程。 可恢复性：即使一个 ...
分类：
其他好文 时间：
2020-06-15 16:11:29
阅读次数：
53
celery的简介 celery是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。它的执行单元为任务（task），利用多线程，如Eventlet，gevent等，它们能被并发地执行在单个或多个职程服务器（worker servers）上。任务能异步执行（后台运行）或同步执 ...
分类：
编程语言 时间：
2020-06-09 23:27:41
阅读次数：
107
飞凌嵌入式 Cortex-A9 双核精简版 iMX6DL 发布，支持 Ubuntu 12.04 LTS 、 Linux console 系统、 Linux qt4.8.5 系统、 Android4.4.2 系统。
分类：
其他好文 时间：
2020-05-26 23:31:34
阅读次数：
133
etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value 存储的中间件。 ...
分类：
其他好文 时间：
2020-05-26 00:54:19
阅读次数：
336
个人在学习Kafka ， 这两天在看官方文档。看完了简介部分，看完做个小总结。看看官方是怎么夸Kafka的。## 三大特性- 发布-订阅- 持久化存储- 低延迟的实时处理## 特性梳理- Topic ： 逻辑概念，承载数据的实体- 数据的保存期限可以设置- 磁盘是顺序读写，IO不是瓶颈- 可以处理大... ...
分类：
其他好文 时间：
2020-05-11 21:42:33
阅读次数：
50
