摘要：CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用，为 Spark 提供的4个重要功能。 本文分享自华为云社区《Make Apache Spark better with CarbonData》，原文作者：大数据修行者 。 Spark 无疑是一个强大的处理引擎 ...
分类：
Web程序 时间：
2021-06-30 18:44:44
阅读次数：
0
kafka它们属于消息队列；celery它们属于任务队列。 消息队列和任务队列，最大的不同之处就在于理念的不同 -- 消息队列传递的是“消息”，任务队列传递的是“任务”。 我们可以放到具体的应用场景上: 消息队列用来快速消费队列中的消息。比如日志处理场景，我们需要把不同服务器上的日志合并到一起，这时 ...
分类：
其他好文 时间：
2021-06-30 18:33:26
阅读次数：
0
kafka 应用数据读取理论生产者和消费者 生产者：生产数据 消费者：消费生产者产生的数据 对应关系：一个任务可以有多个分组，可以对应多个消费者，但消费者数量不能大于生产者分组数量，多余的也是无用的。（多对多的中的一对一关系） 特性：kafka只需写入一次，可以支持任意多的应用读取全部数据，如果应用 ...
分类：
编程语言 时间：
2021-06-30 17:51:24
阅读次数：
0
文章目录一、kafka是什么？二、使用步骤1. 安装1.引入库2.消费端：读取数据3.发送端：发送数据总结一、kafka是什么？kafka 是一个分布式流式计算平台。而在大部分企业开发人员中，都是把 kafka 当成消息系统使用，即它是一个分布式消息队列，很少会使用 kafka 的流式计算。它有四个 ...
分类：
编程语言 时间：
2021-06-30 17:50:03
阅读次数：
0
关键点 概念的解析 kafka的架构图 架构深入 kafka的工作流程及文件存储机制 kafka的生产者：a.分区策略 b.数据可靠性保证 c.数据一致性保证 kafka的消费者：a.消费方式 b.分区分配策略 c.offset的维护 zookeeper的作用 Kafka常见面试题：根据问题去了解大 ...
分类：
其他好文 时间：
2021-06-28 18:56:22
阅读次数：
0
参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh ...
分类：
其他好文 时间：
2021-06-25 16:43:35
阅读次数：
0
什么是任务调度 大数据平台技术框架支持的开发语言多种多样，开发人员的背景差异也很大，这就产生出很多不同类型的程序（任务）运行在大数据平台之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境，并且除了定时运行，各种类型之间的任 ...
分类：
其他好文 时间：
2021-06-23 17:16:53
阅读次数：
0
1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
环境准备 kafka依赖zookeeper，所以搭建kafka需要先配置zookeeper。网格信息如下： zookeeper 192.168.56.101:2181 kafka1 192.168.56.101:9092 kafka2 192.168.56.101:9093 kafka3 192.1 ...
分类：
其他好文 时间：
2021-06-23 16:51:10
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
