码迷,mamicode.com
首页 >  
搜索关键字:rdd    ( 1327个结果
android软键盘弹出时如何处理页面布局
android里软键盘弹出顶起当前布局是常见的问题。 首先了解下软键盘和activity的几个交互模式(windowSoftInputMode) 【A】stateUnspecified:软键盘的状态并没有指定,系统将选择一个合适的状态或依赖于主题的设置 【B】stateUnchanged:当这个ac ...
分类:移动开发   时间:2020-11-01 10:33:26    阅读次数:29
吴忠办吴忠证UUX
办吴忠证〖溦: bzs8777〗哪里办吴忠证件〖電/溦:182.1648.9071同号〗本地办理各类.证.件《诚.信.第一/专.业.定.制》自从数据源读取数据,到最终写出数据到表,无处不是使用Spark RDD作为主要数据结构,甚至连普通的工具类,都使用Spark API实现,可以说Hudi就是用S ...
分类:其他好文   时间:2020-10-27 11:31:30    阅读次数:27
00032-layui 树形下拉选择 xmSelect(二):数据懒加载
<divclass="layui-form-itemlayui-form-item-45"><labelclass="layui-form-label">证照名称<spanstyle="color:red">*</span></label><divclass="layui-input-block"><divid="lic
分类:其他好文   时间:2020-09-18 02:41:25    阅读次数:33
Spark的Shuffle和MR的Shuffle异同
介绍 不论MapReduce还是RDD,shuffle都是非常重要的一环,也是影响整个程序执行效率的主要环节,但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗,将各个节点的同一类数据汇集到某一个节点进行计算,为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类:其他好文   时间:2020-09-17 19:31:45    阅读次数:30
Spark-RDD-基本介绍
1.定义 RDD是只读的记录分区的集合,是一种基于工作集的应用抽象 创建RDD的方式有两种: 从驱动程序中的集合中并行创建 从外部数据集创建 2.底层存储原理 每个RDD的数据以Block的形式存储在多个机器上,对于每个Executor都会启动一个BlockManagerSlave,并且管理一部分B ...
分类:其他好文   时间:2020-08-08 00:33:32    阅读次数:73
spark系列之基本概念
Spark的架构图 1、RDD(弹性分布式数据集) RDD是对象的分布式集合。 RDD以并行方式应用和记录数据转换 RDD也提供数据沿袭——以图形形式给出每个中间步骤的祖先树,当RDD的一个分区丢失,可以根据祖先树重建该分区。 RDD有两组操作,转换(transformation)和行动(actio ...
分类:其他好文   时间:2020-07-28 22:37:30    阅读次数:72
深入理解Spark Streaming
一.DStream的两类操作 DStream内部其实是RDD序列,所有的DStream操作最终都转换为RDD操作。通过分析源码,可以进一步窥探这种转换是如何进行的。 DStream有一些与RDD类似的基础属性: 依赖的其它DStream列表。 生成RDD的时间间隔。 一个名为compute的计算函数 ...
分类:其他好文   时间:2020-07-20 13:13:18    阅读次数:64
spark 广播变量 累加器
广播变量object Main { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("readMysql").setMaster("local[2]") val sparkConte ...
分类:其他好文   时间:2020-07-19 11:44:16    阅读次数:62
nextcloud-1.19网盘搭建文档
nextcloud网盘搭建文档 1、安装php7.4(官方建议) yum install http://rpms.remirepo.net/enterprise/remi-release-7.rpm yum -y install php74-php-fpm php74-php-cli php74-p ...
分类:其他好文   时间:2020-07-18 22:28:56    阅读次数:183
Spark的Shuffle机制
什么是Shuffle 在RDD中,将每个相同key的value聚合起来。相同key的value可能在不同partition,也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有:groupByKey(),reduceBykey()等。 Shuffle Write和Re ...
分类:其他好文   时间:2020-07-16 10:12:36    阅读次数:63
1327条   上一页 1 ... 7 8 9 10 11 ... 133 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!