克莱姆森大学：高效运用海量计算资源
时间：2022-04-04 13:48:01 | 来源：行业动态
时间：2022-04-04 13:48:01 来源：行业动态
克莱姆森大学遗传与生物化学系的Feltus实验室，是一支由遗传学家、计算机科学家、计算机工程师以及生物工程师组成的跨学科团队。通过将软件工程与计算生物学技术相融合，他们努力在人与植物生物系统内做出更多重要的分子级科研成果。
Alex Feltus教授表示，该实验室使用生物信息学、统计与数据科学方法发现各种模式。我们分析的生物学数据集一般在TB甚至PB级别，我们设计出经过优化的数据密集型计算工作流，确保数据能够在各类计算平台、包括多家商业云服务商提供的平台上得到高效处理。
近年来，Feltus实验室将工作重点放在了Kubernetes系统上的工作流当中。Feltus表示，我们坚信，Kubernetes必将成为数据密集型计算的通用标准平台，帮助我们将软件工程工作集中在统一的架构当中。
如今，生物数据库的体量正以几何级数增长，而对数据集的深入挖掘有助于解决医疗及食品安全等重大挑战。他提到，即使是小型生物学实验室，也长期需要大量计算资源。研究人员很快就需要依赖千万亿次算力来解决各类生物学问题。好消息是，如今的商业云已经能够通过大型计算机等设备提供这种强大的算力，而Kubernetes集群已经成为执行大规模计算的绝佳平台。
Feltus强调，在迁移至云端之前，生物学研究人员需要注意使用更大众化的、资源控制能力更强的云沙箱环境，确保只在这类环境下运行大规模设计与测试工作流。这是因为90%的科学实验都不可能成功，如果不加控制，研究人员很可能在发现方向有误之前就耗尽自己的资源预算。
Feltus实验室还与其他多支研究小组开展合作，尝试将内部部署与云服务整合为统一的可扩展资源。在这方面，Kubernetes与容器技术同样发挥着巨大的作用。Kubernetes与容器已经成为计算生物学工作流的首选工程平台，这些系统能够帮助回避高性能计算环境中所固有的大量配置任务。
该实验室还部署了思科容器平台，用以帮助团队在单一平台上管理来自多家云服务商提供的多套集群。实验室方面在Kubernetes集群上完成工作流测试之后，即可在多种商业云环境上运行容器化工作流。Feltus总结道，这极大简化了最终用户的培训需求，确保研究人员能够专注于科学本身。
在线咨询
