一、概要 通常情况下，当向Spark操作传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量会向驱动程序回传。在任务之间使用通用的，支持读写的共享变量是低效的。尽管如此，Spark提供了两种有限类型的共享变量，广播变量 ...
分类：
其他好文 时间：
2017-11-29 21:02:07
阅读次数：
154
地址：https://visualvm.dev.java.net/ 连接 1、本地机器的程序直接可以监听到 2、远程机器的程序需要加上JVM参数 -Dcom.sun.management.jmxremote= true -Dcom.sun.management.jmxremote.port= 909 ...
分类：
其他好文 时间：
2017-11-09 17:18:59
阅读次数：
169
ssh-copy-id命令可以把本地主机的公钥复制到远程主机的authorized_keys文件上， ssh-copy-id命令也会给远程主机的用户主目录（home）和~/.ssh, 和~/.ssh/authorized_keys设置合适的权限。 ssh-copy-id命令可以把本地的ssh公钥文件 ...
分类：
其他好文 时间：
2017-11-03 16:47:16
阅读次数：
123
net use * /del /yesNET USE Y: \\远程机IP\d$ 登录密码 /user:domain\登录用户 set sourcePath="Y:\DOAutomationTest\automation_do_scriptlibrary_soapui\Compare Test an ...
分类：
其他好文 时间：
2017-11-02 18:21:26
阅读次数：
142
作用：抓取网络流量，进行分析 tcpdump与wireshark是同类的工具，不过tcpdump是命令行形式，wireshark是界面形式 sudo wireshark打开wireshark界面， sshbkr登陆一个远程机器，为了分析包，可以使用：tcpdump -i eth0 -w file.p ...
分类：
其他好文 时间：
2017-10-24 13:08:05
阅读次数：
145
DRBD简介DRBD的全称为：DistributedReplicatedBlock
Device(DRBD)分布式块设备复制,DRBD是由内核模块和相关脚本而构成，用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。你可以把它看作是一种网络RAID。它允许用户在远程机器上建立一个本地块设备的实时镜像。DRB..
分类：
其他好文 时间：
2017-10-24 11:31:30
阅读次数：
245
理解：生成公私钥，私钥自己保存，将公钥分配给要登陆的远程机器，在使用ssh进行远程登陆时，公私钥自己进行匹配，可以达到免密码登陆的效果 过程： 注意：要习惯使用Tab键 ...
分类：
其他好文 时间：
2017-10-11 21:51:00
阅读次数：
154
rsync即是能备份系统也是数据同步的工具。 在Jenkins上可以使用rsync结合SSH的免密登录做数据同步和分发。这样一来可以达到部署全命令化，不需要依赖任何插件去实现。 命令参考：http://man.linuxde.net/rsync 示例： 参考： http://blog.csdn.ne ...
分类：
系统相关 时间：
2017-10-02 00:49:58
阅读次数：
354
本节内容 项目实战：运维堡垒机开发 商业：《齐治--堡垒机》 前景介绍 https://www.cnblogs.com/alex3714/articles/5286889.html 到目前为止，很多公司对堡垒机依然不太感冒，其实是没有充分认识到堡垒机在IT管理中的重要作用的，很多人觉得，堡垒机就是跳 ...
分类：
其他好文 时间：
2017-09-26 00:00:29
阅读次数：
191
JMeter的场景运行方式有GUI运行，也有非GUI运行，有本地运行，也有远程运行，远程运行就是一台JMeter控制机控制多台远程机器来产生负载。 1、背景 Jmeter 是java 应用，对于CPU和内存的消耗比较大，因此，当需要模拟数以千计的并发用户时，使用单台机器模拟所有的并发用户就有些力不从 ...
分类：
其他好文 时间：
2017-09-21 17:53:43
阅读次数：
112
