RDD在创建子RDD的时候，会通过Dependency来定义他们之间的关系，通过Dependency，子RDD可以获得parentRDD(s)和parentRDD(s)的Partition(s).
分类：
其他好文 时间：
2015-12-16 12:49:54
阅读次数：
169
在Spark的Stage内部的每个Partition都会被分配一个计算任务Task，这些Task是并行执行的;Stage之间的依赖关系变成了一个大粒度的DAG，Stage只有在它没有parentStage或者parentStage都已经执行完成后才可以执行，也就是说DAG中的Stage是从前往后顺序执行的。
分类：
其他好文 时间：
2015-12-16 12:50:22
阅读次数：
139
在Spark的reduceByKey操作时会触发Shuffle的过程，在Shuffle之前，会有本地的聚合过程产生MapPartitionsRDD，接着具体Shuffle会产生ShuffledRDD,之后做全局的聚合生成结果MapPartitionsRDD
分类：
其他好文 时间：
2015-12-16 12:48:44
阅读次数：
157
park中的Task分为ShuffleMapTask和ResultTask两种类型，在Spark中DAG的最后一个Stage内部的任务都是ResultTask，其余所有的Stage(s)的内部都是ShuffleMapTask，生成的Task会被Driver发送到已经启动的Executor中执行具体的计算任务，执行的实现是在TaskRunner.run方法中完成的。
分类：
其他好文 时间：
2015-12-16 12:48:54
阅读次数：
158
Spark中生成的不同的RDD中有的喝用户的逻辑显式的对于，例如map操作会生成MapPartitionsRDD，而又的RDD则是Spark框架帮助我们隐式生成的，例如reduceByKey操作时候的ShuffledRDD.
分类：
其他好文 时间：
2015-12-16 12:49:23
阅读次数：
148
SparkCheckpoint通过将RDD写入Disk做检查点，是Sparklineage容错的辅助，lineage过长会造成容错成本过高，这时候在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减少开销。Checkpoint主要适用于以下两种情况：1.DAG中的Linea..
分类：
其他好文 时间：
2015-12-16 12:48:23
阅读次数：
134
期中架构终于告一段落。现在总结一下心得，总体来说有以下收获。心得1：为之，难者亦易矣，不为，易者亦难矣。这句话是《为学》里的一句话，意思是如果你想做一件事，即便非常困难，也会变的很容易，就像愚公移山一样，子子孙孙无穷已，都为了移走王屋山而努力；反之，如果你不..
分类：
其他好文 时间：
2015-12-16 12:48:57
阅读次数：
159
今天犯了个错误，记下来以免重犯。豆子发现VmwareUpdateManager貌似不工作了，我们的集群也有很久没有升级过了，于是兴冲冲的重装了VmwareUpdateManager，然后把ESXi5.5的所有补丁都打上。本来以为是个很简单的活，安全起见，先升级一台主机试试看。关掉HA，然后在主机的update..
分类：
其他好文 时间：
2015-12-16 12:46:34
阅读次数：
202
Hyper-vServer在线调整虚拟硬盘大小从WindowsServer2012R2开始，Hyper-v支持在线调整虚拟硬盘的大小了，这意味着在生产环境当虚拟硬盘不够用时，我们可以在虚拟机运行的情况下直接扩展虚拟硬盘容量。管理员可以在运行虚拟机的同时，使用Hyper-V来扩展或压缩虚拟硬盘的大校虚拟..
分类：
其他好文 时间：
2015-12-16 12:45:57
阅读次数：
144
参考网站:1.Java多线程学习笔记2.简单且线程安全的两个单例模式java程序3.Java多线程编程环境中单例模式的实现(内部类实现多线程环境中的单例模式)主要内容:什么是单例模式?单例模式是一种设计模式,其设计的思路是:一个特殊的类,它只有一个实例,而且这个类提供了访问这个类的方..
分类：
其他好文 时间：
2015-12-16 12:45:19
阅读次数：
151
虚拟化环境中，为了节省部署大量虚拟机的时间，管理员通常会事先创建一个优质可用的虚拟机模板。以下是我通常制作Hyper-V虚拟机模板文件所做的一些设置，尽可能使虚拟机发挥最大的性能。一、设置Hyper-V虚拟机通常在新建一个WindowsServer虚拟机时需要定义系统盘为多大，以便有..
分类：
其他好文 时间：
2015-12-16 12:45:37
阅读次数：
369
IDC评述网（idcps.com）12月16日报道：据ntldstats.com最新数据显示，截止至2015年12月15日16时，国内外.top域名注册总量达到930,297个，相比上期11月20日，净增39,790个，增速减缓。另外，西部数码、易名中国、中国数据的.top域名总量依次达到372,385个、219,795个、94,967个..
分类：
其他好文 时间：
2015-12-16 12:44:43
阅读次数：
159
IDC评述网（idcps.com）12月16日报道：根据RegistrarStats公布的实时数据显示，截止至2015年12月12日，在国内域名注册保有量28强较量中，通际名联（北京）科技排名上升至第26名，被其取代的互宇信息科技则跌至第27名，两者名次互换。与上期12月5日数据对比，28强中西部数码净增..
分类：
其他好文 时间：
2015-12-16 12:45:50
阅读次数：
200
一、解压unzipsolr-5.4.0.zip二、创建solr目录mkdir/usr/local/apache-tomcat-7.0.57/webapps/solr三、拷贝应用拷贝solr-5.4.0/server/solr-webapp/webapp目录下的内容到/usr/local/apache-tomcat-7.0.57/webapps/solrcp-rsolr-5.4.0/server/solr-webapp/webapp/usr/local/apac..
分类：
其他好文 时间：
2015-12-16 12:47:05
阅读次数：
4102
上课的时候老师布置了一个作业，利用结构体实现一个简单地通讯录，这可是我们大一的时候学期末的课设题目啊，不过还好现在的水平比之前高了那么一点。。实现一个通讯录；通讯录可以用来存储1000个人的信息，每个人的信息包括：姓名、性别、年龄、电话、住址提供方法：1. 添加联..
分类：
其他好文 时间：
2015-12-16 12:44:39
阅读次数：
147
zabbix_server.conf配置文件详解AlertScriptsPath默认值：/usr/local/share/zabbix/alertscripts说明：告警脚本目录AllowRoot默认值：0说明：是否允许使用root启动，0:不允许，1:允许，默认情况下她会使用zabbix用户来启动zabbix进程，不推荐使用rootCacheSize取值范围：128K-8..
分类：
其他好文 时间：
2015-12-16 12:42:22
阅读次数：
287
常用端口号与对应的服务21端口：21端口主要用于FTP（FileTransferProtocol，文件传输协议）服务。23端口：23端口主要用于Telnet（远程登录）服务，是Internet上普遍采用的登录和仿真程序。25端口：25端口为SMTP（SimpleMailTransferProtocol，简单邮件传输协议）服务器所开放，..
分类：
其他好文 时间：
2015-12-16 12:41:39
阅读次数：
261
