从Physical plan到Map-Reduce Plan
注:因为我们重点关注的是Pig On Spark针对RDD的执行计划,所以Pig物理执行计划之后的后端参考意义不大,这些部分主要分析流程,忽略实现细节。
入口类MRCompiler,MRCompilier按照拓扑顺序遍历物理执行计划中的节点,将其转换为MROperator,每个MROperator都代表一个map-reduce
j...
分类:
其他好文 时间:
2014-05-10 08:46:07
阅读次数:
366
后端接口访问超时 HTTP访问 一般我们访问HTTP方式很多,主要是:curl,
socket, file_get_contents() 等方法。
如果碰到对方服务器一直没有响应的时候,我们就悲剧了,很容易把整个服务器搞死,所以在访问http的时候后端&接口访问超时HTTP访问一般我们访问HTTP方...
分类:
Web程序 时间:
2014-05-09 18:13:36
阅读次数:
568
我们核心业务系统的中心服务每天承载着上千万金额、几十万笔的订单量,在数据量高速增长,公司业务节节攀升的客观因素下,以及面对即将到来的6月份世界杯的流量\交易
高峰的压力,核心业务系统性能优化以及重构显得越发重要而又迫在眉睫。时刻准备着在进行性能优化之前,我们做了很多的准备工作,包括 压力测试,数据库...
分类:
其他好文 时间:
2014-05-09 17:46:27
阅读次数:
360
简介LNMT=Linux+Nginx+MySQL+Tomcat;Tomcat服务器是一个免费的开放源代码的Web应用服务器,属于轻量级应用服务器;在中小型系统和并发访问用户不是很多的场合下被普遍使用,是开发和调试JSP程序的首选;架构需求Tomcat实现JSP动态请求解析的基本架构说明:由后端Tomcat负责解..
分类:
Web程序 时间:
2014-05-09 07:09:41
阅读次数:
595
最近半忙不忙的写了一个外包网站,网站主要功能是艺术品竞拍和艺术衍生品的销售。工程已经完成了80%左右,现在前后端代码量已经50W行左右,我主要负责的是前端设计和前端布局。下面就先放一个网站的设计图吧,因为涉及到甲方的“商业机密”,所以打一下马赛克:
这篇文章主要算是我对于这个项目的总结...
分类:
Web程序 时间:
2014-05-08 21:33:34
阅读次数:
419
我们知道在面向对象编程中,总会想着各种办法来实现代码的解耦,从而让项目中的各种人员面对自己熟悉的业务进行开发,做到术业有专攻,比如大家非常熟悉的三层架构,MVC,MVP以及MVVM模式,让前端设计专注于html的制作,让后端开发人员更加专注于业务逻辑的编写,可以看到,我们这么做的目的就是想最大程.....
分类:
Web程序 时间:
2014-05-08 06:13:02
阅读次数:
323
需求分析:
前端需支持更大的访问量,单台Web服务器已无法满足需求了,则需扩容Web服务器;虽然动态内容可交由后端的PHP服务器执行,但静态页面还需要Web服务器自己解析,那是否意味着多台Web服务器都需要在各自的系统中都存有一份静态页面数据呢?
其实这样也不是不可以,毕竟文件本地访问,速度还是有优...
分类:
其他好文 时间:
2014-05-07 10:58:40
阅读次数:
387
工作中为满足业务需要以及保证服务的可用性,配置的一些nginx跳转规则,与公司业务相关信息已经抹去,提供出来希望对大家有帮助。1.当后端服务器出现异常,响应码为500501502503504,请求转发到静态降级服务器,从而保证业务不至于完全无法访问,对于浏览型且实时性要求不高的..
分类:
移动开发 时间:
2014-05-06 18:33:17
阅读次数:
580
昨天开了个头 博文链接:后端系统性能优化(第一季:改掉那些坏代码) 今天,来说说
什么样的代码才是坏代码,怎么来找出这些坏代码。 不少猿在吐槽烂代码。但是我们今天说的不是烂代码,坏代码只需要改动很小的一部分,把它的坏的地方改掉,他依然是好代码
。而烂代码,只有重新写过了,才会让你觉得浑身轻松,...
分类:
其他好文 时间:
2014-05-06 13:34:48
阅读次数:
287