AWS帮助Dummi Studio以低成本部署HPC项目进行科学研究

Dummi Studio是由中科院和北邮等研究院所的学生组织的一个科研小组，完成由中科院和北邮研究所共同承担的密码学方面的研究项目。该小组专注于尝试和实践最新最酷的技术。目前该小组在移动互联网、云计算、社交网络、LBS等领域进行多种探索

作为一个由研究生构成的团队，Dummi Sdudio通过对计算机前沿科技研究和验证，为计算机科学发展提供支持。Dummi Studio有着很多的科研项目，不少集中在可网格化的HPC应用。随着项目的进展，研究小组需要能随时根据研究进度去部署HPC实验项目。从成本角度考虑，由于单独科研项目经费有限，很难支撑团队为单个项目购买服务器，或者租用固定的设备进行运算实验工作。从人力资源角度考虑，这是一个由学生组织的小组，成员都专注在各个科研项目的推进，没有专门的后勤支持团队，如：IT支持人员，为每个项目的实施提供IT基础架构的支持；IT实施需要每个科研项目团队自己去推进和管理。因此，对于Dummi Studio的各个科研团队而言，他们需要寻找一个服务提供商，既能满足他们高性能计算集群的需求，又需要能很好地控制成本、并能在相对较短的时间里完成项目的实验工作。

作为科研团队，Dummi Studio对于实施项目的运算实验主要从如下几个角度进行考虑：成本、性能、易用性、以及响应速度。经过深入的调查和分析，Dummi Studio认为：AWS可以满足项目实验所需要的高性能计算集群的需求；同时，AWS所提供的竞价型实例模式，具有价格低廉的特性，还能方便进行部署实验，无需通过购买昂贵的机器进行计算实验。经过综合的调研，以及快速比对多个云服务平台，Dummi Studio最终选定采用AWS云平台服务，相关服务主要包括：Amazon EC2 On-demand Instance & Spot Instance、Amazon Virtual Private Cloud、Amazon Simple Notification Service等。在选择AWS时，Dummi Studio主要基于以下几方面的考量：

便利的云计算服务和独特的竞价型实例
AWS为广大用户所提供的一项基础服务就是计算和联网服务。Amazon EC2是AWS所提供的一项web服务，可在云中提供大小可调节的计算容量。其Web服务接口非常简单，使用者能非常轻松地获取和配置容量。通过使用Amazon EC2，使用者可以缩短获取并启动新服务器实例所需要的时间。在计算要求发生变化的时候，可以快速扩大或缩小计算容量。而计算服务收费方面，Amazon EC2则实现了按照实际使用的容量收费，能确保费用的有效支出。Amazon EC2提供了三种收费模式：预留实例、按需实例、竞价型实例。其中，竞价型实例是基于供求关系的、可实现自动确定。使用者对系统中其他用户未使用的EC2容量进行竞价，系统基于供求关系产生一个现货价格，系统自动判定哪位竞价者获得竞价成功；对于Dummi Studio而言，当他们给出的竞价高于现货价格时，系统开启实例；当现货现货价格高于竞价的时候，系统停止实例；在不考虑时间因素的情况下，它可以为Dummi Studio提供最优惠的价格，并能确保实例的可用性和可连续性，非常适合大规模和动态工作量的处理。而Dummi Studio日常进行的高性能计算的特点是细粒度的网格化，从而让计算应用的实施受到系统停止实例的影响较小。

无操作系统界限
由于AWS对操作平台没有限制，Dummi Studio可以实现在SUSE/Amazon Linux上使用gcc和AVX汇编进行高性能计算，简化了工作内容。

易实施
Dummi Studio首先尝试在一台实例上部署程序，得到了较为不错的成果。随后，Dummi Studio编写脚本尝试在10台实例上批量部署程序并测试性能。然后小组分为三个方向：对实例进行性能调优、对程序进行性能优化、完善并调试管理脚本群；在运行期间，Dummi Studio继续进行自动化脚本群的迭代，加入检测使用率、SNS报警对策、自动申请竞价型实例等新特性。由于AWS的易用性以及组员的努力，从尝试AWS方案到开始整个项目的正式运行仅用了3天。

按照每台双路E5服务器2万元的部署成本计算，为了在3个月内完成项目计算，Dummi Studio需要部署大约500台机器，成本高达1000万。而Dummi Studio为AWS竞价型实例仅支出了不到50万。自主运营的成本大概是采用AWS服务的20倍。

Dummi Studio联合创始人杨煜尧表示：“通过采用AWS竞价型实例，我们不仅在有限的时间里完成了项目计算，还节省了大量科研经费。使用AWS服务与自主运营的费用相差高达20倍。我们为我们做出的正确选择感到非常高兴。”