码迷,mamicode.com
首页 >  
搜索关键字:spark broadcast    ( 8013个结果
WebVirtMgr添加多台KVM主机
目前WebVirtMgr只支持KVM虚拟化管理
分类:Web程序   时间:2020-06-17 01:28:02    阅读次数:92
BMA类型网络-静态路由下一跳为出接口的解释
如果出接口为BMA(Broadcast Multiple Access)类型,则静态路由需要指定下一跳IP地址。 AR1和AR2是通过G0/0/0接口连接到同一台以太网交换机上,现在我们需要为AR1配置一条到达192.168.2.0的静态路由,由于AR1的出接口G0/0/0是一个BMA接口,因为此根 ...
分类:其他好文   时间:2020-06-16 23:11:09    阅读次数:135
scala 如何显示 大数
1.在使用Spark的 sum() 算子经常遇到结果被自动转化为科学技术 如何正常显示呢 假如 n结果会是一个科学计数法 val n=data.map(x=>x.toInt).sum() 然后我们 val a = BigDecimal(n) println(a) 这样打印出来的结果就是正常的大数 ...
分类:其他好文   时间:2020-06-16 10:24:45    阅读次数:95
Spark Streaming读取Kafka数据两种方式
1.基于Receiver的方式 这种方式使用Receiver来接收kafka中的数据,Receiver是基于kafka的高层Consumer API来实现的。Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的,然后Spark Streaming启动的job会去处 ...
分类:其他好文   时间:2020-06-15 22:58:10    阅读次数:60
Spark 双流join代码示例
基本思想 与flink流的join原理不同的是,Spark双流join是对俩个流做满外连接 ,因为网络延迟等关系,不能保证每个窗口中的数据key都能匹配上,这样势必会出现三种情况:(some,some),(None,some),(Some,None),根据这三种情况,下面做一下详细解析: (some ...
分类:其他好文   时间:2020-06-15 21:21:14    阅读次数:156
Spark文档阅读之二:Programming Guides - Quick Start
Spark文档阅读之Programming Guides - Quick Start。学习spark-shell任务提交方法和独立spark任务的创建和提交执行。 ...
分类:其他好文   时间:2020-06-15 20:41:53    阅读次数:51
假装网络工程师15——IGP综合实验
一、背景介绍IGP协议的学习即将结束,最后通过一个综合实验最为结尾,实验拓扑如下图所示:每个路由器的route-id与lo0接口ip地址一致,除基础配置外,还需满足如下约束:RIP需求:1.R1-R4运行RIPV22.R1仅从R4接收199.172.0.0、199.172.1.0、199.172.2.0、199.172.3.0网段的路由更新OSPF进程1需求:1.所有路由器的router-id均为
分类:其他好文   时间:2020-06-15 09:39:27    阅读次数:69
# spark + TDengine的使用
企业介绍: 中国电信上海理想信息产业(集团)有限公司,成立于1999年,注册资本7000万元,是上海市投资规模较大的信息技术企业之一。母公司员工500多人,其中80%以上员工具有大学本科以上学历,从事软件开发人员超过50%,是一个典型的“知识密集型”企业。 通过整合公司内各事业部多年大型项目实施的整 ...
分类:其他好文   时间:2020-06-15 00:04:45    阅读次数:78
Spark Scala 将数据保存到Mysql
1添加pom.xml配置 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/scala</testSourceDirectory> <plugins> <plugin> <g ...
分类:数据库   时间:2020-06-14 18:56:57    阅读次数:138
python中使用pyspark 读取和整理日志数据并将数据写入到es中去
代码: import re import datetime from pyspark.sql import SparkSession from pyspark import SparkContext from elasticsearch import Elasticsearch spark=Spar ...
分类:编程语言   时间:2020-06-14 17:09:05    阅读次数:125
8013条   上一页 1 ... 28 29 30 31 32 ... 802 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!