###1.大数据架构 说明： 1.该大数据平台采用的阿里云服务器，所以在集群部署和运维上会减少很多工作量 2.主题的计算引擎采用Spark，部分有Flink 3.数据挖掘主要是应用python的一些挖掘框架，模型比如词袋模型和一些常见的nlp算法 4.任务调度是自研的诸葛大数据调度平台 ...
分类：
其他好文 时间：
2020-05-28 11:34:57
阅读次数：
68
问题导读：spark缓存是如何实现的？BlockManager与BlockManagerMaster的关系是什么？ 这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。 defpersist（newLevel：StorageLevel）：this.type = { // Stora ...
分类：
其他好文 时间：
2020-05-27 15:59:00
阅读次数：
71
题目三：使用Spark Core 统计文件中以spark开头的单词中，每个单词出现的次数（共计30分） spark-core hadoop linux java spark-sql storm html css vue spark spring springboot struts spark-hiv ...
分类：
其他好文 时间：
2020-05-26 22:06:21
阅读次数：
102
shuffle 和 stage shuffle 是划分 DAG 中 stage 的标识,同时影响 Spark 执行速度的关键步骤. RDD 的 Transformation 函数中,又分为窄依赖(narrow dependency)和宽依赖(wide dependency)的操作.窄依赖跟宽依赖的区 ...
分类：
其他好文 时间：
2020-05-26 18:22:19
阅读次数：
71
分布式缓存 分布式缓存的思想在hadoop和spark中都有体现，Flink 提供的分布式缓存类似 Hadoop，目的是为了在分布式环境中让每一个 TaskManager 节点保存一份相同的数据或者文件，当前计算节点的 task 就像读取本地文件一样拉取这些配置。 比如在进行表与表 Join 操作时 ...
分类：
其他好文 时间：
2020-05-25 19:29:56
阅读次数：
60
unclean.leader.election.enable 为true的话，意味着非ISR集合的broker 也可以参与选举，这样有可能就会丢数据，spark streaming在消费过程中拿到的 end offset 会突然变小，导致 spark streaming job挂掉。如果unclea ...
分类：
其他好文 时间：
2020-05-25 14:01:02
阅读次数：
89
跑spark job的时候碰到了错误： 这是因为nmPrivate目录没有权限访问引起的。 参考： "https://www.oschina.net/question/2288283_2134188" ...
分类：
其他好文 时间：
2020-05-25 09:22:14
阅读次数：
74
一般来说，一个spark程序包含两种 JVM 程序，Dirver 和 Executor。Dirver 是主要的控制程序，负责创建 context，提交任务，那 job 转换为 task 并且协调 task 在 executor 中的执行。Executor 主要是负责执行计算任务并且将结果返回给 Dr ...
分类：
其他好文 时间：
2020-05-24 23:52:11
阅读次数：
70
简介 Spark有3种集群管理器: Standalone Hadoop YARN 又分为yarn client与yarn cluser Apache Mesos 生产环境中一般使用yarn cluser模式 个人理解 yarn主要有两个作用. 一个是创建container以此来分配计算资源 另外一个 ...
分类：
其他好文 时间：
2020-05-24 11:33:26
阅读次数：
64
