在上一篇生信云實證《提速2920倍！用AutoDock Vina對接2800萬個分子》里，我們基于不同用戶策略，調用10萬核CPU資源，幫用戶進行了2800萬量級的大規模分子對接，將運算效率提高2920倍。
對藥物分子的虛擬篩選，僅僅實現分子對接是不夠的，往往會面臨一個問題就是藥物分子活性的評價。許多藥物和其它生物分子的活性都是通過與受體大分子之間的相互作用表現出來的，是動態的。
受體和配體之間結合自由能（Binding Afinity）評價是基于結構的計算機輔助藥物分子設計的核心問題。
基于分子動力學（Molecular Dynamics, MD）模擬的煉金術自由能（Alchemical Free Energy，AFE）計算是提高我們對各種生物過程的理解以及加快多種疾病的藥物設計和優化的關鍵工具。
MD模擬實驗數據量大，計算周期長，常用軟件包括Amber、NAMD、GROMACS、Schr?dinger等等。GPU的并行處理技術能大大加速計算效率，所以很多MD模擬軟件都開始支持GPU。
GROMACS作為一款開源軟件，完全免費，但其成熟版本對于GPU的支持并不理想，教程相對少，對用戶的要求比較高。
Schr?dinger是商用軟件，功能全面，GPU支持很好，但License是按使用核數計算的，價格相對昂貴。
Amber軟件包包括兩個部分：AmberTools和Amber。
AmberTools可以在Amber官網免費下載和使用，Tools中包含了Amber絕大部分模塊，但不支持PMEMD和GPU加速。
Amber是收費的，從Amber11開始支持GPU加速仿真，Amber18開始支持GPU計算自由能，且教程齊全易操作，不限制CORE的使用數量。2020年4月，已經更新到Amber20版本。
學術/非營利組織/政府：500美元
企業：新Amber20用戶 20000美元（原Amber18用戶 15000美元）
今天實證的主角是Amber，有幾個重點我們先說為敬：
第一、不同GPU型號價格差異極大，對Amber自由能計算的適配度和運算效率也不同，如何為用戶選擇最匹配的資源類型；
第二、用戶對GPU的需求量比較大，而不同云廠商提供的可用GPU資源數量不確定，價格差異也很大，可能需要跨多家云廠商調度，如何實現？同時，盡可能降低成本；
第三、用戶使用的Amber18版本，根據我們的經驗，在使用GPU計算時存在10%-15%的失敗概率。一旦任務失敗，需要調度CPU重新計算，能否及時且自動地處理失敗任務，將極大影響運算周期。
用戶需求
某高校研究所對一組任務使用Amber18進行自由能計算，使用本地48核CPU資源需要12小時，而使用1張GPU卡運算該組任務只需3小時。
該研究所目前面臨16008個任務需要使用Amber18進行自由能計算，負責人根據以往數據估算使用本地CPU資源可能要1年以上才能完成任務，使用單個GPU需要至少4個月，周期過長，課題等不了。
因此，他們迫切希望通過使用云上資源，尤其是GPU資源來快速補充本地算力的不足，更快完成任務。
實證目標
1、Amber自由能計算能否在云端有效運行？
2、fastone是否能為用戶選擇合適的GPU實例類型？
3、fastone平臺是否能在短時間內獲取足夠的GPU資源，大幅度縮短項目周期？
4、Amber18版本運行GPU的失敗概率問題，fastone平臺是否能有效處理？
實證參數
平臺：
fastone企業版產品
應用：
Amber18
操作系統：
CentOS 7.5
適用場景：
基于分子動力學模擬的自由能預測
云端硬件配置：
NVIDIA Tesla K80
NVIDIA Tesla V100
調度器：
Slurm
技術架構圖：
實證場景一
GPU實例類型驗證—120個任務
新版的GPU資源，運行速度快，但是價格高。
老版的GPU資源，價格是便宜了，但是運行速度也慢。
老機型就一定劃算嗎？這可不一定。
結論：
1、無論是從時間效率還是成本的角度，都應選擇更新型的NVIDIA Tesla V100；
2、在云端運算相同的Amber18任務時，NVIDIA Tesla K80的耗時是NVIDIA Tesla V100的約5-6倍，從時間效率的角度，V100明顯占優；
3、NVIDIA Tesla K80云端GPU實例的定價約為NVIDIA Tesla V100云端GPU實例的不到三分之一（某公有云廠商官網上單個K80的按需價格為0.9美元/小時，V100則為3.06美元/小時），綜合計算得出V100的性價比是K80的約1.4-1.8倍。
實證過程：
1、云端調度1個NVIDIA Tesla K80云端GPU實例運算A組Amber任務，耗時16.5小時；
2、云端調度1個NVIDIA Tesla K80云端GPU實例運算B組Amber任務，耗時2.5小時；
3、云端調度1個NVIDIA Tesla V100云端GPU實例運算A組Amber任務，耗時3.3小時；
4、云端調度1個NVIDIA Tesla V100云端GPU實例運算B組Amber任務，耗時0.4小時。
實證場景二
大規模GPU多云場景驗證—16008個任務
結論：
fastone平臺根據用戶任務需要和特性，跨兩家公有云廠商，智能自動化調度云端GPU/CPU異構資源，包括155個NVIDIA Tesla V100和部分CPU資源，將運算16008個Amber任務的耗時從單GPU的4個月縮短到20小時。
1、怎么通過Auto-Scale功能提高GPU資源的利用率？
用戶的Amber任務運算時存在依從機制，即每12個任務中包含1個主任務，只有當主任務運行結束后，其他11個任務才能開始并行運算。
在本場景中，由于任務數量高達16008個，這就意味著有1334個主任務需要率先跑完。
本次實證中：
第一，任務有先后，所以需要先跑主任務，在每個主任務完成之后自動調度資源并行運算其他11個任務；
第二，不同任務完成時間可能不同，對資源的需求量可能時高時低有波動，最終結束關機時間也不同。
fastone平臺使用Slurm調度器按順序調度任務排隊，Auto-Scale功能可自動監控用戶提交的任務數量和資源的需求，動態按需地開啟與關閉所需算力資源，在提升效率的同時有效降低成本。
關鍵是，一切都是自動的。
隨任務需要自動化開機和關機到底有多省錢省心，誰用誰知道。
用戶還可根據自己需求，設置自動化調度集群規模上下限，相比手動模式能夠節省大量時間與成本。
調度器是干嘛的，為什么大規模集群需要用到調度器，有哪些流派，不同調度器之間區別是什么等等問題可以參考億萬打工人的夢：16萬個CPU隨你用
2、任務用GPU運算失敗，怎么及時用CPU自動重算？
Amber18在使用GPU時計算時有10-15%概率失敗，需要及時調度CPU資源重新計算，這里會涉及到一個問題：錯誤的任務能否及時重新用CPU運行。（注：該問題已在Amber20中修復）
跟上一點一樣，自動化還是手動的部署差別非常大。
失敗任務自動跳出來重新運行，嗯，就是這么乖巧。
自動化模式和手動模式到底多大差別，多省錢省心可以看這篇：EDA云實證Vol.1：從30天到17小時，如何讓HSPICE仿真效率提升42倍？
本次實證中：
由于任務總數高達16008個，全部使用GPU計算，預計將會有1600-2400個任務算錯，對自動化調度CPU資源的響應速度和規模提出了很高的要求。
fastone平臺提供的智能調度策略，能在使用GPU資源計算失敗時，自動定位任務并按需開啟CPU資源，對該任務重新進行計算，直到計算完成為止。
3、GPU資源的多云調度，如何兼顧成本和效率，最大化用戶利益？
云上的GPU可用資源有限，155個NVIDIA Tesla V100不是一個小數目，單個公有云廠商單區域資源未必能夠隨時滿足需求。
本次實證中：
第一，涉及到跨兩家公有云廠商之間的資源調度；
第二，GPU資源的在不同云廠商之間有著顯著的差異，而且往往資源多的售價高，便宜的資源少，怎么兼顧成本和效率。
以各大公有云廠商在北京地區的GPU實例（V100）按需價格為例，最高價格超過最低價2倍。
關于不同云廠商之間的價格比較和SPOT競價實例到底能有多便宜，可以看這篇：【2020新版】六家云廠商價格比較：AWS/阿里云/Azure/Google Cloud/華為云/騰訊云
fastone平臺可綜合考量用戶對完成任務所需時間和成本的具體要求，在多個云廠商的資源之間選擇最適配的組合方案，為用戶跨地區、跨云廠商調度所需資源。
下圖場景是出于成本優化目的，我們為用戶自動調度本區域及其他區域的目標類型或相似類型SPOT實例資源。
具體看這篇：生信云實證Vol.3：提速2920倍！用AutoDock Vina對接2800萬個分子
本次實證，fastone平臺完美解決了以上三個挑戰：
第一，自動監控用戶提交的任務數量和資源的需求，動態按需地自動化開啟與關閉所需算力資源，提高GPU資源利用率；
第二，在GPU資源計算失敗時，自動定位任務并按需開啟CPU資源，對該任務重新進行計算，直到計算完成為止；
第三，在多個云廠商的資源之間選擇最適配的組合方案，為用戶跨地區、跨云廠商調度所需GPU資源。
實證小結
1、Amber任務能夠在云端有效運行；
2、fastone為用戶任務推薦最適配的GPU資源類型；
3、fastone平臺能夠在短時間內跨區域，跨云廠商獲取足夠的GPU資源，滿足用戶短時間算力需求，大幅度縮短項目周期；
4、針對Amber18版本運行GPU任務失敗概率問題，fastone平臺可自動調度CPU資源重新計算，降低。
本次生信行業Cloud HPC實證系列Vol.6就到這里了。
在下一期的生信云實證中，我們聊MOE。
請保持關注哦！
- END -
我們有個【在線體驗版】
集成多種應用，大量任務多節點并行
應對短時間爆發性需求，連網即用
跑任務快，原來幾個月甚至幾年，現在只需幾小時
5分鐘快速上手，拖拉點選可視化界面，無需代碼
支持高級用戶直接在云端創建集群
掃碼免費試用，送200元體驗金，入股不虧~
2020年新版《六大云廠商資源價格對比工具包》
添加小F微信（ID: imfastone）獲取
你也許想了解具體的落地場景：
怎么把需要45天的突發性Fluent仿真計算縮短到4天之內？
EDA云實證Vol.4 ，5000核大規模OPC上云，效率提升53倍
提速2920倍！用AutoDock Vina對接2800萬個分子
從4天到1.75小時，如何讓Bladed仿真效率提升55倍？
關于云端高性能計算平臺：
