numpy广播(Broadcast) 若数组a,b形状相同,即a.shape==b.shape,那么a+b,a*b的结果就是对应数位的运算 import numpy as np a=np.array([[1,2,3],[4,5,6]]) b=np.array([[1,4,7],[2,5,8]]) p ...
分类:
编程语言 时间:
2020-07-01 20:06:23
阅读次数:
51
一、简介 在 Spark 中,提供了两种类型的共享变量:累加器 (accumulator) 与广播变量 (broadcast variable): 累加器:用来对信息进行聚合,主要用于累计计数等场景; 广播变量:主要用于在节点间高效分发大对象。 二、累加器 这里先看一个具体的场景,对于正常的累计求和 ...
分类:
其他好文 时间:
2020-06-26 10:59:41
阅读次数:
50
Broadcast Join 适合情况,小表和大表,小表非常小,适合传播到各个节点。 当大表小表连接时,为了避免Shuffle,我们可以将小表广播到各个节点内存,供大表连接。一定程度上牺牲了空间,避免了Shuffle。这种Join在Spark中称作Broadcast Join。(需要注意的点是广播的 ...
分类:
其他好文 时间:
2020-06-24 16:28:44
阅读次数:
53
MAC地址(/sys/class/net/enp0s3/address) 修改网卡配置(/etc/sysconfig/network-script/ifcfg-eth0) DEVICE=eth0 BOOTPROTO=static BROADCAST=192.168.1.255 HWADDR=00:0 ...
分类:
系统相关 时间:
2020-06-22 00:58:44
阅读次数:
128
一、概述 1.ZAB(Zookeeper Atomic Broadcast) 是专门为Zookeeper设计的一套广播协议 2.这个协议底层基于2PC算法进行设计,利用PAXOS算法进行改进 3.作用:原子广播和崩溃恢复 二、原子广播 1.原子广播主要保证Zookeeper集群中的所有节点的数据一致 ...
分类:
其他好文 时间:
2020-06-20 14:07:33
阅读次数:
53
集群容错方案 说明 Failover Cluster 失败自动切换,自动重试其它服务器(默认) Failfast Cluster 快速失败,立即报错,只发起一次调用 Failsafe Cluster 失败安全,出现异常时,直接忽略 Failback Cluster 失败自动恢复,记录失败请求,定时重 ...
分类:
其他好文 时间:
2020-06-20 14:04:13
阅读次数:
74
如果出接口为BMA(Broadcast Multiple Access)类型,则静态路由需要指定下一跳IP地址。 AR1和AR2是通过G0/0/0接口连接到同一台以太网交换机上,现在我们需要为AR1配置一条到达192.168.2.0的静态路由,由于AR1的出接口G0/0/0是一个BMA接口,因为此根 ...
分类:
其他好文 时间:
2020-06-16 23:11:09
阅读次数:
135
一、背景介绍IGP协议的学习即将结束,最后通过一个综合实验最为结尾,实验拓扑如下图所示:每个路由器的route-id与lo0接口ip地址一致,除基础配置外,还需满足如下约束:RIP需求:1.R1-R4运行RIPV22.R1仅从R4接收199.172.0.0、199.172.1.0、199.172.2.0、199.172.3.0网段的路由更新OSPF进程1需求:1.所有路由器的router-id均为
分类:
其他好文 时间:
2020-06-15 09:39:27
阅读次数:
69
1、路由器端口上不能直接配置两个IP,因此需要在其子接口上配置; 2、子接口默认不会开启ARP广播,因此需要使用arp broadcast enable 使能ARP广播,否则VLAN间ARP不能通讯; ...
分类:
其他好文 时间:
2020-06-13 10:40:09
阅读次数:
71