码迷,mamicode.com
首页 > 2016年05月23日 > 全部分享
第12课:Spark Streaming源码解读之Executor容错安全性
Receiver接收到的数据交由ReceiverSupervisorImpl来管理。ReceiverSupervisorImpl接收到数据后,会数据存储并且将数据的元数据报告给ReceiverTracker。Executor的数据容错可以有三种方式:WAL日志数据副本接收receiver的数据流回放/**Storeblockandreportittodriver*/ defpushA..
分类:其他好文   时间:2016-05-23 01:17:31    阅读次数:208
在循环中缓存数组,定义变量
这个技巧很简单,这个在处理一个很大的数组循环时,对性能影响将是非常大的。基本上,大家都会写一个这样的同步迭代的数组:for(vari=0;i<array.length;i++){ console.log(array[i]); }如果是一个小型数组,这样做很好,如果你要处理的是一个大的数组,这段代码在每次迭代都..
分类:编程语言   时间:2016-05-23 01:17:13    阅读次数:527
MySQL - ERROR 1062 (23000)
1.1.1现象执行数据库操作,出现如下错误信息:ERROR1062(23000):Duplicateentry‘0‘forkey‘PRIMARY‘1.1.2原因出问题的表之前主键是没有设置为自动增长列的,后来程序需要就将其修改为自动增长列,结果插入第一条数据,主键为0,以后再增加数据,就出现如上错误,看信息是以后每..
分类:数据库   时间:2016-05-23 01:18:31    阅读次数:610
MySQL - ERROR 1235 (42000)
1.1.1现象导出一个MySQL数据库到一个文件,再导入的时候出现如下错误:ERROR1235(42000)atline267:ThisversionofMySQLdoesn‘tyetsupport‘multipletriggerswiththesameactiontimeandeventforonetable‘1.1.2原因导出的内容包含了触发器,所以在导入的时候就出现了这个错误。1.1.3..
分类:数据库   时间:2016-05-23 01:18:27    阅读次数:1694
MySQL - ERROR 1406
1.1.1现象执行一个存储过程,出现如下错误:请更正下列输入错误:CDbCommand无法执行SQL语句:SQLSTATE[HY000]:Generalerror:1456Recursivelimit0(assetbythemax_sp_recursion_depthvariable)wasexceededforroutinesp_rebuild_booktype.TheSQLstatementexecutedwas:callsp_rebuil..
分类:数据库   时间:2016-05-23 01:16:20    阅读次数:498
MySQL - ERROR 1839
1.1.1现象导出的数据库在导入时,出现如下错误:ERROR1839(HY000)atline24:@@GLOBAL.GTID_PURGEDcanonlybesetwhen@@GLOBAL.GTID_MODE=ON.1.1.2原因gtid_executed:WHENusedWITHglobalscope,thisvariablecontainsarepresentationOFtheSETOFALLtransactionsthatareloggedINtheBINA..
分类:数据库   时间:2016-05-23 01:16:10    阅读次数:1360
MySQL - Found option without preceding group in config file
1.1.1现象启动MYSQL超时,windows提示错误,在服务中MYSQL状态一直处于starting状态,执行MYSQL命令,出现如下错误信息:error:foundoptionwithoutprecedinggroupinconfigfile:E:\webserver\mysql5\my.iniatline:1fatalerrorindefaultshandling.programaborted.1.1.2原因配置文..
分类:数据库   时间:2016-05-23 01:15:38    阅读次数:1009
PXE和Cobble实现自动装机
t:PXE:预启动执行环境,是由Intel开发的最新技术,工作于Client/Server的网络模式,支持终端通过网络从远端服务器下载映像,并由此支持通过网络启动操作系统,在启动过程中,终端要求服务器分配IP地址,再用TFTP(trivialfiletransferprotocol)协议下载一个启动软件包到本机内..
分类:其他好文   时间:2016-05-23 01:15:48    阅读次数:1010
bond科普
http://lixin15.blog.51cto.com/3845983/1769338http://wsxxsl.blog.51cto.com/9085838/1767173这两篇博文讲的很清楚,特收集到此,以供自己和各位网友学习。
分类:其他好文   时间:2016-05-23 01:17:55    阅读次数:164
iptables超详细解读
iptables指令语法:iptables[-ttable]command[match][-jtarget/jump]-t参数用来指定规则表,内建的规则表有三个,分别是:nat、mangle和filter,当未指定规则表时,则一律视为是filter。各个规则表的功能如下:nat此规则表拥有Prerouting和postrouting两个规则链,主要功能为进..
分类:其他好文   时间:2016-05-23 01:16:10    阅读次数:168
旋转数组的最小数字
把一个有序数组进行旋转,对于已知旋转后的数组,找出这个数组中的最小值。这个问题看起来比较简单,只要遍历一遍数组就能找到最小值,但如果题目中对时间复杂度有要求,那么这个时候就要考虑用其他的方法。可以想到一种方法,二分查找法,每一次二分查找一定会有一边的数字是..
分类:编程语言   时间:2016-05-23 01:16:12    阅读次数:184
第13课:Spark Streaming源码解读之Driver容错安全性
本期内容:ReceivedBlockTracker容错安全性DStream和JobGenerator容错安全性Driver的容错有两个层面:1.Receiver接收数据的元数据2.Driver管理的各组件信息(调度和驱动层面)元数据采用了WAL的容错机制caseAddBlock(receivedBlockInfo)=> if(WriteAheadLogUtils.isBatching..
分类:其他好文   时间:2016-05-23 01:16:02    阅读次数:251
pyenv 环境构造多python环境
【背景】centos6.x系列默认的python环境是2.6.6但是主流的python使用版本是python2.7.x,并且有些开发django的环境,django版本1.8.x以上都需要python3.x的版本,这个时候就很有必要多个python环境共存了,有一种管理python多版本的软件是pyenv很好使用,使用简单>系统环境】:..
分类:编程语言   时间:2016-05-23 01:14:34    阅读次数:274
Nginx日志分割脚本
#!/bin/bash #author:yuxiaoguang #date:2016/5/22 DATE=`date-d"1daysago"+"%Y%m%d"` OLD_DATE=`date-d"4daysago"+"%Y%m%d"` PROG=/usr/local/nginx/sbin/nginx LOGDIR=/usr/local/nginx/logs ALL_LOG=`ls$LOGDIR|grep-ivE"old|nginx.pid"` [-d$LOGDIR/old]||mkdir-p$LOGDI..
分类:其他好文   时间:2016-05-23 01:17:09    阅读次数:183
java互联网架构师课程资料分享
一、JAVA并发编程Netty、NOI、MiNa技术详解二、JAVA虚拟机、JVM调优、Tomcat优化技术详解三、Linux入门命令、虚拟机安装课程详解四、数据库设计MySQL、Oracle数据库设计五、缓存Redis、Memcached、Mongodb使用六、中间件ActiveMQ、RocketMQ、MyCat的使用七、互联网应用Zookeepe..
分类:编程语言   时间:2016-05-23 01:13:51    阅读次数:365
Tomcat进程运行监视并自动重启的脚本
#!/bin/bash #author:yuxiaoguang #date:2016/5/22 echo"Start" URL="http://127.0.0.1:8090" curlit() { #echo"??" curl--connect-timeout15--max-time20--head--silent"$URL"|grep‘200‘ #上面的15是连接超时时间,若访问localhost的HTTP服务超过15s仍然没有正确响应200头代..
分类:系统相关   时间:2016-05-23 01:14:52    阅读次数:343
socketpair函数详解
我们先来看看socketpair函数的原型如下:intsocketpair(intdomain,inttype,intprotocol,intsv[])第一个参数表示协议族,必须为AF_LOCAL;第二个参数表示类型,既可以是SOCK_STREAM,又可以是SOCK_DGRAM,当参数指定为SOCK_STREAM时,得到的结果称为流管道,它与一般管道的区..
分类:其他好文   时间:2016-05-23 01:16:09    阅读次数:1473
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!