MOE(Molecular Operating Environment)是加拿大化學計算集團公司Chemical Computing Group Inc.開發的一套計算機輔助藥物分子設計的平臺。
做化學/生物這一類計算,場景很多,應用選擇范圍也相當大,甚至同一場景可能用到很多不同的應用。就拿分子對接舉例,相關軟件就有開源的和商業的不下數十種。
熟悉并習慣一種應用,已經需要不低的學習成本,何況這些應用往往還留了一些API接口給用戶,需要寫一些腳本才能運行。
而且很多時候,現成的應用是無法滿足用戶的研究需求的,需要用戶自己來編程。
另一個角度:
如果計算量突增,就會涉及到大規模計算資源的調用,可能涉及本地服務器、集群,甚至超算和公有云。
或者計算量還好,但是不想再重復勞動,能不能一次操作完成所有需要手動一次次做的事,一百次就忍了,一千次,一萬次呢?
或者不需要團隊每個人重復一遍同樣的學習過程,做個模板它不香嗎?
工具的最大價值,是把人從機械性的重復勞動中解放出來,騰出時間來思考更重要的事。
今天我們就通過一個MOE實證來聊聊,我們怎么幫你降低工作量(偷懶),節約時間,甚至預測未來。
用戶需求
某高校課題組使用MOE對數據庫中的約200000個分子進行模擬,希望在2天內完成計算。根據以往經驗,單核CPU模擬一個分子所需的時間約為4分鐘,該課題組當前可使用的機房CPU資源最多為64核,需要一周以上才能完成任務。
課題組老師希望借助云端獲取更多計算資源,而且由于課題組團隊有多名學生,所以需要一個既能快速啟用滿足需求,同時又操作簡單便于管理的解決方案。
實證目標
1、MOE任務是否能在云端有效運行?
2、fastone平臺能否將大規模MOE任務的運算時間縮短到2天以內?
3、fastone平臺能否快速啟用,同時方便老師對整個團隊進行管理?
4、由于不是所有的學生的計算機基礎都非常強,fastone能否為其提供相對簡單可行的操作方式?
實證參數
平臺: fastone 企業版產品
應用: MOE
操作系統:Linux CentOS 7.5
適用場景:3D分子可視化、基于結構/片段的藥物設計、蛋白質/DNA/RNA建模、虛擬篩選、分子模擬、化學信息學
云端硬件配置:計算優化型實例本任務屬于CPU密集型任務,對內存的需求不高,因此我們選擇了高性價比的云端計算優化型實例(CPU/內存=1:2)。
技術架構圖:

第一步:我們先做一波應用優化
應用優化分成兩部分,自定義工作流和并行化改造。
1、自定義工作流模板一次制作,反復使用
正如我們開頭說的,很多時候,現成的應用往往無法滿足用戶的需求,需要根據自己的模型和研究目標,自定義設置一套獨有的工作流程。
在生命科學領域,可以說幾乎沒有一模一樣的工作流。
而用戶在進行了一次或多次復雜的設定之后,如果能把這些設定保存成固定模板,就不用重復手動去一步步重新設置。十次百次還能忍,一千次呢?一次制作,反復使用,省時省力,還不用擔心中間出錯。

我們fastone平臺已經實現包括MOE在內多款應用的自定義工作流,可以根據用戶的實際使用場景自定義模板。
而且,這套自定義的設置是可以跨應用存在的,不一定局限在一個應用范圍內。自己重復用,共享給團隊的其他人用,都可以。
我們這套自動化的原則,不僅存在于應用層面,同時也能在資源的調度和部署層面實現。比如不用再一臺臺機器手動安裝配置,不用時刻盯著任務進程。
自動化部署相比手動模式究竟有哪些優勢?看這里《EDA云實證Vol.1:從30天到17小時,如何讓HSPICE仿真效率提升42倍?》
2、應用并行化改造
應用并行化改造,通俗地講,就是你在云端弄到了1000核資源,怎么把任務扔到云端,讓其能夠在1000核資源上高效地跑起來,這就是應用并行化改造需要解決的問題。
像MOE這樣的應用,由于單分子計算時間短,分子計算獨立,子任務之間沒有通信開銷,輸入輸出數據量小,特別適合并行化運行。改造完成后,MOE任務可在云端分為若干子任務獨立計算,節省大量時間。
如何從零開始進行應用并行化改造,可以看這篇《EDA云實證Vol.7:揭秘20000個VCS任務背后的“搬桌子”系列故事》

這一波應用優化做完后,用戶可以省時省力地利用云端資源,輕松提升應用運行效率。
第二步:我們開始大規模MOE任務上云
云端擴展性驗證
本地/云端計算優化型實例
3000個分子
結論:
1、同等核數下,云端計算優化型實例的表現與本地計算資源相差無幾;
2、對應用進行并行化改造后,隨著云端核數的增加,運算時間呈線性下降。當CPU核數從64核增加到384核(6倍)之后,運算時間從188.9分鐘縮短為32.2分鐘(5.9倍)。
實證過程:
1、本地使用64核計算資源運算一組MOE任務(模擬約3000個分子),耗時190.4分鐘;
2、云端調度64核計算優化型實例運算一組MOE任務(模擬約3000個分子),耗時188.9分鐘;
3、云端調度128核計算優化型實例運算一組MOE任務(模擬約3000個分子),耗時94.7分鐘;
4、云端調度256核計算優化型實例運算一組MOE任務(模擬約3000個分子),耗時47.4分鐘;
5、云端調度384核計算優化型實例運算一組MOE任務(模擬約3000個分子),耗時32.2分鐘。

云端大規模業務驗證 200000個分子
結論:云端調度384核計算資源,將一組MOE任務(模擬約200000個分子)的計算周期從本地預估的8.7天縮短為1.5天,符合“2天內完成”的任務目標。
實證過程:
1、云端調度64核計算優化型實例運算一組MOE任務(模擬約200000個分子),耗時12576分鐘(與本地機房64核的預估時間相仿);
2、云端調度128核計算優化型實例運算一組MOE任務(模擬約200000個分子),耗時6290分鐘;
3、云端調度256核計算優化型實例運算一組MOE任務(模擬約200000個分子),耗時3146分鐘;
4、云端調度384核計算優化型實例運算一組MOE任務(模擬約200000個分子),耗時2138分鐘。

在本實證中,無論是模擬3000個分子還是200000個分子,MOE的線性擴展都相對良好,當云端資源增加到384核之后,運算時間已經成功縮短到了2天以內。
即便模擬的分子數量增加到百萬甚至千萬級別,經過應用并行化處理的MOE依舊可以很好地應對,同時fastone平臺還支持使用對象存儲自動優化存儲效率和費用,以最大化地降本增效。
有些應用特性不一樣,如LS-DYNA和Fluent這兩個應用,隨著計算節點規模的增加,節點間通信開銷會指數級上升,性能的提升便隨之變緩。這種情況,我們也有經驗:
《怎么把需要45天的突發性Fluent仿真計算縮短到4天之內?》
《LS-DYNA求解效率深度測評 │ 六種規模,本地VS云端5種不同硬件配置》
第三步:智能預測成本,提前心里有底
在期限內成功完成了200000個分子的模擬之后,課題組開始計劃下一步任務。 出于對課題總體預算的把控,老師希望能對幾個大規模MOE運算任務的花費進行預估,做到心中有數,以便及時調整計劃。
這時候,就輪到fastone平臺的智能預測功能發揮了。
用戶在fastone平臺的圖形化操作界面運算MOE任務,完成以下步驟:
1、用戶上傳數據文件(平臺自動解析文件,判斷其中包含的分子數量)
2、用戶輸入期望的運算時間(平臺推薦用戶適配機型或用戶自行選擇機型)
3、系統得出預測成本:

根據不同用戶的需求,fastone平臺還可以為用戶分別提供成本優先和時間優先的智能調度策略《生信云實證Vol.3:提速2920倍!用AutoDock Vina對接2800萬個分子》
老師可以根據預測成本提前權衡,并在此基礎上進行預算管控。
而對于企業用戶,涉及到預算審批流程,這塊就顯得更為重要,項目負責人能夠非常方便地使用該功能預估項目費用,完成項目規劃和申請。
第四步:權限和角色管理,團隊必備
對于團隊來說,fastone平臺的權限和角色管理功能,支持管理員角色對每一個用戶進行相關權限設定,包括預算使用上限和CPU核數使用上限。
這是很多團隊在上云時都可能面臨的問題——團隊成員共用一個賬戶,共享一個資源池和總預算額度。團隊管理者——通常是課題組老師——對于項目整體消耗的總資源和總預算有一個清晰的概念,但往往很難對具體的操作人員進行計算資源和預算上限管控。

云計算的靈活性和擴展性使得這種管理的重要性大大提升,這里就有一個反面教材《2小時,賬單47萬!「Milkie Way公司破產未遂事件」復盤分析》
fastone平臺的權限控制功能方便管理員從全局角度管控項目的資源消耗。該功能與智能預測配合使用,能夠從多個層面對預算和資源進行全方位規劃。
實證小結
1、MOE任務能夠在云端有效運行;
2、fastone平臺成功將大規模MOE任務的運算時間縮短到了2天以內;
3、fastone平臺自定義工作流模板功能讓用戶一次制作,反復使用,既適配生命科學領域應用特性,又大幅提升用戶和團隊工作效率;
4、fastone平臺的智能預測、權限和角色管理功能讓課題組老師能夠更輕松進行團隊管理和項目規劃。
本次生命科學行業云實證系列Vol.9就到這里了。下一期的生信云實證,我們聊Schr?dinger。 請保持關注哦!
關于fastone云平臺在其他應用上的表現,可以點擊以下應用名稱查看:HSPICE │ Bladed │ Vina │ OPC │ Fluent │ Amber │ VCS │ LS-DYNA
- END -
我們有個生物/化學計算云平臺
集成多種生命科學領域應用,大量任務多節點并行
應對短時間爆發性需求,連網即用
跑任務快,原來幾個月甚至幾年,現在只需幾小時5分鐘
快速上手,拖拉點選可視化界面,無需代碼
支持高級用戶直接在云端創建集群
掃碼免費試用,送200元體驗金,入股不虧~

更多電子書歡迎掃碼關注小F(ID:imfastone)獲取

你也許想了解具體的落地場景:
LS-DYNA求解效率深度測評 │ 六種規模,本地VS云端5種不同硬件配置
揭秘20000個VCS任務背后的“搬桌子”系列故事
155個GPU!多云場景下的Amber自由能計算
怎么把需要45天的突發性Fluent仿真計算縮短到4天之內?
5000核大規模OPC上云,效率提升53倍
提速2920倍!用AutoDock Vina對接2800萬個分子
從4天到1.75小時,如何讓Bladed仿真效率提升55倍?
從30天到17小時,如何讓HSPICE仿真效率提升42倍?
關于為應用定義的云平臺:
2小時,賬單47萬!「Milkie Way公司破產未遂事件」復盤分析
高情商:人類世界模擬器是真的!低情商:你是假的……
【2021版】全球44家頂尖藥企AI輔助藥物研發行動白皮書
EDA云平臺49問
國內超算發展近40年,終于遇到了一個像樣的對手
幫助CXO解惑上云成本的迷思,看這篇就夠了
花費4小時5500美元,速石科技躋身全球超算TOP500
