一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，
分类：
其他好文 时间：
2020-05-07 09:17:48
阅读次数：
76
从自上而下的角度去理解 Kafka 竟然发现了很多之前学习过程中忽略掉的东西 更特别地是，我发现这种学习方法能够帮助我维持较长时间的学习兴趣，不会阶段性地产生厌烦情绪 Apache Kafka 是消息引擎系统，也是一个分布式流处理平台 LinkedIn 最开始有强烈的数据强实时处理方面的需求，其内部 ...
分类：
其他好文 时间：
2020-04-27 13:42:32
阅读次数：
68
1、什么是celeryCelery是一个简单、灵活且可靠的，处理大量消息的分布式系统专注于实时处理的异步任务队列同时也支持任务调度celery架构：Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result st... ...
分类：
其他好文 时间：
2020-03-22 00:59:24
阅读次数：
82
随着AI技术在无人机领域的大规模应用，无人机开始变得越来越智能化。不仅可以做到实时跟踪锁定拍摄，实时处理目标信息，还可以做到自动识别躲避障碍。?这些动作的背后是无人机计算机视觉技术的突破。计算机视觉技术，简单来说就是摄像头+传感器结合计算机模拟类似人眼与大脑的功能，来感知周围三维空间，进而识别物体、判断运动状态以及其他。在无人机领域，计算机视觉技术主要解决两个问题。一个是距离感知，一个是目标检测。
分类：
其他好文 时间：
2020-03-05 19:25:30
阅读次数：
91
一、harris算法简介1.角点概述角点是图像很重要的特征,对图像图形的理解和分析有很重要的作用。角点在保留图像图形重要特征的同时,可以有效地减少信息的数据量,使其信息的含量很高,有效地提高了计算的速度,有利于图像的可靠匹配,使得实时处理成为可能。从图像分析的角度来定义角点可以有以下两种定义：角点可 ...
分类：
其他好文 时间：
2020-02-25 23:07:57
阅读次数：
94
1、基本概念 Apache Storm是一个免费、开源的分布式实时计算系统。使用它可以轻松实现数据流的实时处理。Strom处理数据快速，基准时钟在超过一百万元组每秒处理的每个节点。易于设置和操作，具有可扩展性、容错性，保证了数据的处理能力。Storm主要用于实时在线分析，机器学习，连续计算，分布式R ...
分类：
其他好文 时间：
2020-02-14 18:48:25
阅读次数：
73
一、kafka概述 1.1、定义 Kakfa是一个分布式的基于发布/订阅模式的消息队列（message queue），主要应用于大数据的实时处理领域 1.2、消息队列 1.2.1、传统的消息队列&新式的消息队列的模式 上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些 ...
分类：
其他好文 时间：
2020-02-01 00:54:38
阅读次数：
84
什么是Clelery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统。专注于实时处理的异步任务队列。同时也支持任务调度。 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组 ...
分类：
其他好文 时间：
2020-01-31 23:01:41
阅读次数：
86
1、Hive和传统数据库的区别 （1）表数据验证：传统数据库是写模式，hive是读模式。传统数据库在写入数据的时候就去检查数据格式，hive在读取数据的时候检查。因此，写时模式，查询快，读时模式数据加载快。 （2）hive不支持实时处理，并且对索引支持较弱。 （3）hive不支持行级插入和事务。 （ ...
分类：
数据库 时间：
2020-01-28 21:08:01
阅读次数：
108
一、kafka的基础架构 kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 kafka的具体架构如图： 学习kafka的架构前，我们需要了解图中的每个角色： （1）consumer group 消费者组：这是kafka消息队列特有的角色，它是一堆消费组组合成的。消 ...
分类：
其他好文 时间：
2020-01-28 20:47:17
阅读次数：
139
