spark shuffle流程分析
回到ShuffleMapTask.runTask函数
现在回到ShuffleMapTask.runTask函数中:
overridedef runTask(context:TaskContext):
MapStatus = {
首先得到要reduce的task的个数。
valnumOutputSplits=
dep.partitioner.num...
分类:
其他好文 时间:
2014-05-09 22:58:33
阅读次数:
574
保护ASP脚本源代码
于 Server端的脚本运行环境,它简单易用,不需要编译和连接,脚本可以在 Server端直接运行,并且它支持多用户、多线程,在 Web开发中得到了广泛的应用。
但是,因为 ASP脚本是纯文本格式,所以恶意者通过源代码可以很容易地看到原本不该看到的页面内容。例如, ASP源代码中通常有系统数据库的连接用户名和口令,恶意者利用此用户名和口令可以轻松地查看数据库中的所有信息...
分类:
Web程序 时间:
2014-05-09 22:14:49
阅读次数:
415
jdk源码学习java.math包
阅读JDK源代码java.math中的
java.math.BigDecimal
java.math.BigInteger
java.math.BitSieve
java.math.MathContext
java.math.MutableBigInteger
java.math.RoundingMode
java.math.SignedMuta...
分类:
编程语言 时间:
2014-05-09 22:09:03
阅读次数:
487
a)后台系统发布1.确认所有人是否还在修改代码,源代码是否全部提交。2.获取最新源代码,编译通过,进行冒烟测试。确认最新版本没有问题。3.生成tag标签版本。4.修改配置文件(数据库连接等配置),确认相应的配置是否正确。5.发布程序,release当前最新的代码。6.系统更新。1.发布的程序拷贝到服...
分类:
其他好文 时间:
2014-05-09 20:10:06
阅读次数:
269
呕心沥血的java复杂聊天室(包括自定义应用层协议、CS多线程、多客户端登录、上下线提醒等等)
建议大家先下源代码,导入到Eclipse,然后运行服务器和多个客户端,这样有个不错的体会。下载地址:http://download.csdn.net/detail/woshiwanghao_hi/7320927。...
分类:
编程语言 时间:
2014-05-09 15:00:30
阅读次数:
677
简介LNMT=Linux+Nginx+MySQL+Tomcat;Tomcat
服务器是一个免费的开放源代码的Web 应用服务器,属于轻量级应用服务器;在中小型系统和并发访问用户不是很多的场合下被普遍使用,是开发和调试JSP
程序的首选;架构需求Tomcat实现JSP动态请求解析的基本架构说明:由后端...
分类:
其他好文 时间:
2014-05-09 13:35:33
阅读次数:
565
首先下载安装包和关联包1.下载apr-1.5.1-tar.gz和apr-util-1.5.3.tar.gz
网站:http://apr.apache.org/download.cgi2.下载pcre-8.33.tar.gz 网站 :
ftp://ftp.csx.cam.ac.uk/pub/softw...
分类:
其他好文 时间:
2014-05-09 09:49:24
阅读次数:
295
置使用3G数据功能:从源代码看到隐藏的API(ConnectivityManager.java):查看文本打印?/***Setsthepersistedvalueforenabling/disablingMobiledata.**@paramenabledWhetherthemobiledataco...
分类:
移动开发 时间:
2014-05-09 09:39:28
阅读次数:
711
简介LNMT=Linux+Nginx+MySQL+Tomcat;Tomcat服务器是一个免费的开放源代码的Web应用服务器,属于轻量级应用服务器;在中小型系统和并发访问用户不是很多的场合下被普遍使用,是开发和调试JSP程序的首选;架构需求Tomcat实现JSP动态请求解析的基本架构说明:由后端Tomcat负责解..
分类:
Web程序 时间:
2014-05-09 07:09:41
阅读次数:
595
NginxNginx("enginex")是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP代理服务器。Nginx是由IgorSysoev为俄罗斯访问量第二的Rambler.ru站点开发的,它已经在该站点运行超过四年多了。Igor将源代码以类BSD许可证的形式发布。自Nginx发布四年来,Nginx已经因为它的..
分类:
其他好文 时间:
2014-05-09 06:41:04
阅读次数:
522