一、大数据框架三种语义???? 在分布式系统中，如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中，broker 可能会 crash，在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此 ...
分类：
其他好文 时间：
2021-04-09 13:27:18
阅读次数：
0
本文是我司在工信部信息通信研究院“2021算网融合产业发展论坛暨CCSA TC610 WG4技术年会”上的主题演讲，介绍了Laxcus集群操作系统的产品定位、功能组成、生态建设，大数据、人工智能在系统的角色，其中部分内容略有删减。 ...
分类：
其他好文 时间：
2021-04-07 11:12:35
阅读次数：
0
与现在相对热门的Clickhouse引擎相比，Druid对高并发的支持相对较好和稳定，但是Clickhouse在任务队列模式中的数据查询能力十分出色，但是对高并发支持不够友好，需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多，在数据的查询引擎层通常都具有两种或者以上的OLAP引擎，选... ...
分类：
其他好文 时间：
2021-04-07 10:30:18
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
考的是某年 \(FJWC\) 的题。 \(T1\) 比较简单的构造题，但自己考试的时候犯了个 \(zz\) 错误，把边权搞错了，就只拿了 \(50\) 分。 \(T2\) 大数据结构题，一开始想打暴力的，但要分类讨论好多种情况，就没写。 \(T3\) 思维题，打死都想不出正解的那照片那种。 T1 直 ...
分类：
其他好文 时间：
2021-04-01 13:19:13
阅读次数：
0
1.1 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue） ， 主要应用于大数据实时处理领域 1.2 消息队列 1.2.1 传统消息队列的应用场景 ? 使用消息队列的好处 1） 解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2） ...
分类：
其他好文 时间：
2021-03-30 13:07:59
阅读次数：
0
前言 接上文，复习整理大数据相关知识点，这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务 ...
分类：
其他好文 时间：
2021-03-17 15:09:28
阅读次数：
0
处在数字化时代的浪潮中，相信大家对于“数据”都不会陌生。无论对于企业还是个人，数据已经成为了数字化时代的“石油”。早在几年前马云就曾提出过一个观点——未来将会实现从IT时代向DT时代的变革。而在几年后的今天，我们切实感受到了大数据所带来的滚滚红利。 ? 在享受大数据红利的同时，也同样要注意数据的安全 ...
分类：
其他好文 时间：
2021-03-17 14:23:44
阅读次数：
0
大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了，因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类：
其他好文 时间：
2021-03-17 14:04:41
阅读次数：
0
Spark的五种JOIN策略解析 JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容： 影响JOIN操作的因素 Spark中JOIN执行的5种策略 Spa ...
分类：
其他好文 时间：
2021-03-10 13:42:57
阅读次数：
0
