码迷,mamicode.com
首页 > 其他好文 > 详细

AWS帮助Dummi Studio以低成本部署HPC项目进行科学研究

时间:2014-08-07 19:07:20      阅读:292      评论:0      收藏:0      [点我收藏+]

标签:aws   亚马逊   云计算   dummi studio   

关于Dummi Studio

Dummi Studio是由中科院和北邮等研究院所的学生组织的一个科研小组,完成由中科院和北邮研究所共同承担的密码学方面的研究项目。该小组专注于尝试和实践最新最酷的技术。目前该小组在移动互联网、云计算、社交网络、LBS等领域进行多种探索

挑战

作为一个由研究生构成的团队,Dummi Sdudio通过对计算机前沿科技研究和验证,为计算机科学发展提供支持。Dummi Studio有着很多的科研项目,不少集中在可网格化的HPC应用。随着项目的进展,研究小组需要能随时根据研究进度去部署HPC实验项目。从成本角度考虑,由于单独科研项目经费有限,很难支撑团队为单个项目购买服务器,或者租用固定的设备进行运算实验工作。从人力资源角度考虑,这是一个由学生组织的小组,成员都专注在各个科研项目的推进,没有专门的后勤支持团队,如:IT支持人员,为每个项目的实施提供IT基础架构的支持;IT实施需要每个科研项目团队自己去推进和管理。因此,对于Dummi Studio的各个科研团队而言,他们需要寻找一个服务提供商,既能满足他们高性能计算集群的需求,又需要能很好地控制成本、并能在相对较短的时间里完成项目的实验工作。

为什么使用AWS

作为科研团队,Dummi Studio对于实施项目的运算实验主要从如下几个角度进行考虑:成本、性能、易用性、以及响应速度。经过深入的调查和分析,Dummi Studio认为:AWS可以满足项目实验所需要的高性能计算集群的需求;同时,AWS所提供的竞价型实例模式,具有价格低廉的特性,还能方便进行部署实验,无需通过购买昂贵的机器进行计算实验。经过综合的调研,以及快速比对多个云服务平台,Dummi Studio最终选定采用AWS云平台服务,相关服务主要包括:Amazon EC2 On-demand Instance & Spot InstanceAmazon Virtual Private CloudAmazon Simple Notification Service等。在选择AWS时,Dummi Studio主要基于以下几方面的考量:

便利的云计算服务和独特的竞价型实例
AWS为广大用户所提供的一项基础服务就是计算和联网服务。Amazon EC2是AWS所提供的一项web服务,可在云中提供大小可调节的计算容量。其Web服务接口非常简单,使用者能非常轻松地获取和配置容量。通过使用Amazon EC2,使用者可以缩短获取并启动新服务器实例所需要的时间。在计算要求发生变化的时候,可以快速扩大或缩小计算容量。而计算服务收费方面,Amazon EC2则实现了按照实际使用的容量收费,能确保费用的有效支出。Amazon EC2提供了三种收费模式:预留实例、按需实例、竞价型实例。其中,竞价型实例是基于供求关系的、可实现自动确定。使用者对系统中其他用户未使用的EC2容量进行竞价,系统基于供求关系产生一个现货价格,系统自动判定哪位竞价者获得竞价成功;对于Dummi Studio而言,当他们给出的竞价高于现货价格时,系统开启实例;当现货现货价格高于竞价的时候,系统停止实例;在不考虑时间因素的情况下,它可以为Dummi Studio提供最优惠的价格,并能确保实例的可用性和可连续性,非常适合大规模和动态工作量的处理。而Dummi Studio日常进行的高性能计算的特点是细粒度的网格化,从而让计算应用的实施受到系统停止实例的影响较小。

无操作系统界限
由于AWS对操作平台没有限制,Dummi Studio可以实现在SUSE/Amazon Linux上使用gcc和AVX汇编进行高性能计算,简化了工作内容。

易实施
Dummi Studio首先尝试在一台实例上部署程序,得到了较为不错的成果。随后,Dummi Studio编写脚本尝试在10台实例上批量部署程序并测试性能。然后小组分为三个方向:对实例进行性能调优、对程序进行性能优化、完善并调试管理脚本群;在运行期间,Dummi Studio继续进行自动化脚本群的迭代,加入检测使用率、SNS报警对策、自动申请竞价型实例等新特性。由于AWS的易用性以及组员的努力,从尝试AWS方案到开始整个项目的正式运行仅用了3天。

收益

按照每台双路E5服务器2万元的部署成本计算,为了在3个月内完成项目计算,Dummi Studio需要部署大约500台机器,成本高达1000万。而Dummi Studio为AWS竞价型实例仅支出了不到50万。自主运营的成本大概是采用AWS服务的20倍。

Dummi Studio联合创始人杨煜尧表示:“通过采用AWS竞价型实例,我们不仅在有限的时间里完成了项目计算,还节省了大量科研经费。使用AWS服务与自主运营的费用相差高达20倍。我们为我们做出的正确选择感到非常高兴。”

更多信息

欲了解更多AWS对教育机构的解决方案,请参考AWS的页面:http://aws.amazon.com/cn/education/

AWS帮助Dummi Studio以低成本部署HPC项目进行科学研究,布布扣,bubuko.com

AWS帮助Dummi Studio以低成本部署HPC项目进行科学研究

标签:aws   亚马逊   云计算   dummi studio   

原文地址:http://blog.csdn.net/awschina/article/details/38421189

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!