spark是一个快速的内存计算框架;同时是一个并行运算的框架。在计算性能调优的时候,除了要考虑广为人知的木桶原理外,还要考虑平行运算的Amdahl定理。
木桶原理又称短板理论,其核心思想是:一只木桶盛水的多少,并不取决于桶壁上最高的那块木块,而是取决于桶壁上最短的那块。将这个理论应用到系统性能优化上,系统的最终性能取决于系统中性能表现最差的组件。例如,即使系统拥有充足的内存资源和...
分类:
数据库 时间:
2014-10-23 12:27:59
阅读次数:
357
一.什么情况下会出现性能问题? PHP语法使用不恰当。 用php做php不擅长做的事。 连接的服务不给力。 PHP自身短板。 其它未知原因。 二.问题解决方向。 ????从易到难分别为以下几个方向: 语言级的性能优化。 ...
分类:
Web程序 时间:
2014-10-15 16:55:41
阅读次数:
133
很多观点认为阿里下一步即将成为google的挑战者,但无论从技术储备还是产业布局来看,阿里都难当此任。在产业模式上,电商挑战搜索尚有诸多短板,在解决这些根本问题前,空泛谈论这些是没有意义的。
《连线》杂志网站前几天刊登了记者Marcus Wholsen关于阿里巴巴的一篇评论,认为阿里巴巴很大,很有钱,还拥有支付宝(尽管从公司角度看支付宝其实完全和阿里巴巴没关系),所以拥有无限...
分类:
其他好文 时间:
2014-10-15 14:12:50
阅读次数:
267
小心!这8种人正在被社会淘汰!(一)八小时之外不学习的人八小时之内决定现在,八小时之外决定未来。不是社会发展太快,是我们思维反应太慢。思想观念40%+人际关系40%+专业能力20%=成功:从这个公式里找自己的短板,缺啥补啥,社会需要啥你就学啥,不只是学感兴趣的,而是学有利于社会,有利于成功的。(.....
分类:
其他好文 时间:
2014-10-13 00:50:18
阅读次数:
171
Sqlserver数据库分页查询一直是Sqlserver的短板,闲来无事,想出几种方法,假设有表ARTICLE,字段ID、YEAR...(其他省略),数据53210条(客户真实数据,量不大),分页查询每页30条,查询第1500页(即第45001-45030条数据),字段ID聚集索引,YEAR无索引,...
分类:
数据库 时间:
2014-09-25 15:19:39
阅读次数:
272
这题想到思路就很简单:从两边开始,短板往中间走。可以仔细想下,为什么这样可以保证得到最大容量?首先,从两边开始肯定是没问题的,因为包括了所有的板。为什么短板往中间走就是对的?短板是限制容器容量的,如果长板往中间走,得到的容器必然比先前的容器小(宽度减小,高度不能增加)。而短板往里走,虽然宽度减小,却...
分类:
其他好文 时间:
2014-09-18 20:37:54
阅读次数:
161
1.0 前提 阅读目的: 对什么是内存型数据库有概念性的认知。? 阅读需知:有关Redis系列的博文,大致有以下的5篇博文。本ID将陆续补充。??? ?本ID??Redis系列 ?? 1 . 0 :首先,这是您在Redis的官方网站:...
分类:
其他好文 时间:
2014-09-18 11:41:04
阅读次数:
178
今晚断网了 所以只能现在这里先记着了,为期13天的第一阶段(杨洪波老师) 基础加强 ,和ADO.net结束了,在这里谢谢小杨老师,虽然不能说小杨老师课讲的透彻,但是,这也是我目前为止觉得还行的老师,其实,每个人都是老师领进门,修行靠个人了 现在我才发现平时少敲代码是最大的短板 还有基础很不扎实 这都...
分类:
其他好文 时间:
2014-09-16 01:31:39
阅读次数:
196
因为学Android已经有一段时间了,但是在学校,服务器方面是个短板啊,没有专门的服务器拿给我们学生练手,所以只有自己找办法了。当然,Tomcat就是不二的选择了。在网上看了看资料,还是觉得自己记录下来比较好。因为我是学Android的,所以jdk什么的已配置好了。如果不知道,请看《java的环境变...
分类:
移动开发 时间:
2014-09-10 23:51:01
阅读次数:
261
前言接触Hadoop有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷(短板),有些则是使用的不当。在解决问题的过程中,有时需要翻源...
分类:
其他好文 时间:
2014-09-07 14:46:55
阅读次数:
449