1. zookeeper介绍
ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooK...
分类:
其他好文 时间:
2015-08-28 17:40:36
阅读次数:
398
实际任务的运行,都是通过Executor类来执行的。这一节,我们只介绍Standalone模式。
源码位置:org.apache.spark.executor.CoarseGrainedExecutorBackend
private def run(
driverUrl: String,
executorId: String,
hostname: String,...
分类:
其他好文 时间:
2015-08-27 21:16:37
阅读次数:
195
Spark之命令 1.spark运行模式有4种: a.local 多有用测试, b. standalone:spark 集群模式,使用spark自己的调度方式。 c. Yarn: 对MapreduceV1升级的经典版本,支持spark。 d.Mesos:类似Yarn的资源调度框架,提供了有效的、跨分...
分类:
其他好文 时间:
2015-08-26 23:54:32
阅读次数:
404
vSS: vSwitches are configured on each ESXi/ESX host. vDS: The configuration of vDS is centralized to vCenter Server. The ESXi/ESX 4.x and ESXi 5.x hos...
分类:
Web程序 时间:
2015-08-26 19:36:18
阅读次数:
532
1、spring xml 配置 <!-- JSON转换器 -->
<bean id="jsonConverter"
class="org.springframework.http.converter.json.MappingJacksonHttpMessageConverter">
<property name="supportedMediaTypes">
<li...
分类:
编程语言 时间:
2015-08-26 18:06:26
阅读次数:
258
1. windows简单java程序调用Spark,执行Scala开发的Spark程序,这里包含两种模式:
1> 提交任务到Spark集群,使用standAlone模式执行;
2> 提交任务到Yarn集群,使用yarn-client的模式;
2. windows 开发java web程序调用Spark,执行Scala开发的Spark程序,同样包含两种模式,参考1.
3. linux运行java web程序调用Spark,执行Scala开发的Spark程序,包含两种模式,参考1....
分类:
编程语言 时间:
2015-08-26 14:02:57
阅读次数:
309
问题描述:
最近搭建了vCenter环境,并使用vCenter创建的VM搭建了一套openstack环境,在验证openstack的外网功能时,发现报文死活ping不通外网,抓包发现报文在vcenter的dvs处给丢掉了,这是非常奇怪的事情,仔细排查后,现vCenter竟然感知报文的mac对于不受vCenter管理的VM发出的报文直接忽视。
先上图:
解释如下:
1)ESX-B0...
分类:
其他好文 时间:
2015-08-21 17:12:05
阅读次数:
978
webclient使用administatro@vsphere.local登录.左侧导航栏系统管理Administration.然后1登录和发现>配置Sign-onandDiscovery>configuration标识源2点击ldap项目,3添加到再点击4域名条目,5上移,6保存.这样用username登录的默认就是第一个域.不需要domain\了.另外vcneter老..
分类:
其他好文 时间:
2015-08-20 06:55:11
阅读次数:
253
添加hub java -jar selenium-server-standalone-2.47.1.jar -role hub 添加node java -jar selenium-server-standalone-2.47.1.jar -role node http://192.168.199.112:4444/grid/register 参考链接: http://sim...
分类:
其他好文 时间:
2015-08-19 15:03:32
阅读次数:
163
Spark注重建立良好的生态系统,它不仅支持多种外部文件存储系统,提供了多种多样的集群运行模式。部署在单台机器上时,既可以用本地(Local)模式运行,也可以使用伪分布式模式来运行;当以分布式集群部署的时候,可以根据自己集群的实际情况选择Standalone模式(Spark自带的模式)、YARN-Client模式或者YARN-Cluster模式。...
分类:
其他好文 时间:
2015-08-19 09:29:03
阅读次数:
241