啊~好爽~,小宝贝np高h,黄色小说在哪里看

MOE（Molecular Operating Environment）是加拿大化學(xué)計(jì)算集團(tuán)公司Chemical Computing Group Inc.開(kāi)發(fā)的一套計(jì)算機(jī)輔助藥物分子設(shè)計(jì)的平臺(tái)。

做化學(xué)/生物這一類(lèi)計(jì)算，場(chǎng)景很多，應(yīng)用選擇范圍也相當(dāng)大，甚至同一場(chǎng)景可能用到很多不同的應(yīng)用。就拿分子對(duì)接舉例，相關(guān)軟件就有開(kāi)源的和商業(yè)的不下數(shù)十種。

熟悉并習(xí)慣一種應(yīng)用，已經(jīng)需要不低的學(xué)習(xí)成本，何況這些應(yīng)用往往還留了一些API接口給用戶，需要寫(xiě)一些腳本才能運(yùn)行。

而且很多時(shí)候，現(xiàn)成的應(yīng)用是無(wú)法滿足用戶的研究需求的，需要用戶自己來(lái)編程。

另一個(gè)角度：

如果計(jì)算量突增，就會(huì)涉及到大規(guī)模計(jì)算資源的調(diào)用，可能涉及本地服務(wù)器、集群，甚至超算和公有云。

或者計(jì)算量還好，但是不想再重復(fù)勞動(dòng)，能不能一次操作完成所有需要手動(dòng)一次次做的事，一百次就忍了，一千次，一萬(wàn)次呢？

或者不需要團(tuán)隊(duì)每個(gè)人重復(fù)一遍同樣的學(xué)習(xí)過(guò)程，做個(gè)模板它不香嗎？

工具的最大價(jià)值，是把人從機(jī)械性的重復(fù)勞動(dòng)中解放出來(lái)，騰出時(shí)間來(lái)思考更重要的事。

今天我們就通過(guò)一個(gè)MOE實(shí)證來(lái)聊聊，我們?cè)趺磶湍憬档凸ぷ髁浚ㄍ祽校?jié)約時(shí)間，甚至預(yù)測(cè)未來(lái)。

用戶需求

某高校課題組使用MOE對(duì)數(shù)據(jù)庫(kù)中的約200000個(gè)分子進(jìn)行模擬，希望在2天內(nèi)完成計(jì)算。根據(jù)以往經(jīng)驗(yàn)，單核CPU模擬一個(gè)分子所需的時(shí)間約為4分鐘，該課題組當(dāng)前可使用的機(jī)房CPU資源最多為64核，需要一周以上才能完成任務(wù)。

課題組老師希望借助云端獲取更多計(jì)算資源，而且由于課題組團(tuán)隊(duì)有多名學(xué)生，所以需要一個(gè)既能快速啟用滿足需求，同時(shí)又操作簡(jiǎn)單便于管理的解決方案。

實(shí)證目標(biāo)

1、MOE任務(wù)是否能在云端有效運(yùn)行？

2、fastone平臺(tái)能否將大規(guī)模MOE任務(wù)的運(yùn)算時(shí)間縮短到2天以內(nèi)？

3、fastone平臺(tái)能否快速啟用，同時(shí)方便老師對(duì)整個(gè)團(tuán)隊(duì)進(jìn)行管理？

4、由于不是所有的學(xué)生的計(jì)算機(jī)基礎(chǔ)都非常強(qiáng)，fastone能否為其提供相對(duì)簡(jiǎn)單可行的操作方式？

實(shí)證參數(shù)

平臺(tái)： fastone 企業(yè)版產(chǎn)品

應(yīng)用： MOE

操作系統(tǒng)：Linux CentOS 7.5

適用場(chǎng)景：3D分子可視化、基于結(jié)構(gòu)/片段的藥物設(shè)計(jì)、蛋白質(zhì)/DNA/RNA建模、虛擬篩選、分子模擬、化學(xué)信息學(xué)

云端硬件配置：計(jì)算優(yōu)化型實(shí)例本任務(wù)屬于CPU密集型任務(wù)，對(duì)內(nèi)存的需求不高，因此我們選擇了高性價(jià)比的云端計(jì)算優(yōu)化型實(shí)例（CPU/內(nèi)存=1:2）。

技術(shù)架構(gòu)圖：

第一步：我們先做一波應(yīng)用優(yōu)化

應(yīng)用優(yōu)化分成兩部分，自定義工作流和并行化改造。

1、自定義工作流模板一次制作，反復(fù)使用

正如我們開(kāi)頭說(shuō)的，很多時(shí)候，現(xiàn)成的應(yīng)用往往無(wú)法滿足用戶的需求，需要根據(jù)自己的模型和研究目標(biāo)，自定義設(shè)置一套獨(dú)有的工作流程。

在生命科學(xué)領(lǐng)域，可以說(shuō)幾乎沒(méi)有一模一樣的工作流。

而用戶在進(jìn)行了一次或多次復(fù)雜的設(shè)定之后，如果能把這些設(shè)定保存成固定模板，就不用重復(fù)手動(dòng)去一步步重新設(shè)置。十次百次還能忍，一千次呢？一次制作，反復(fù)使用，省時(shí)省力，還不用擔(dān)心中間出錯(cuò)。

我們fastone平臺(tái)已經(jīng)實(shí)現(xiàn)包括MOE在內(nèi)多款應(yīng)用的自定義工作流，可以根據(jù)用戶的實(shí)際使用場(chǎng)景自定義模板。

而且，這套自定義的設(shè)置是可以跨應(yīng)用存在的，不一定局限在一個(gè)應(yīng)用范圍內(nèi)。自己重復(fù)用，共享給團(tuán)隊(duì)的其他人用，都可以。

我們這套自動(dòng)化的原則，不僅存在于應(yīng)用層面，同時(shí)也能在資源的調(diào)度和部署層面實(shí)現(xiàn)。比如不用再一臺(tái)臺(tái)機(jī)器手動(dòng)安裝配置，不用時(shí)刻盯著任務(wù)進(jìn)程。

自動(dòng)化部署相比手動(dòng)模式究竟有哪些優(yōu)勢(shì)？看這里《EDA云實(shí)證Vol.1：從30天到17小時(shí)，如何讓HSPICE仿真效率提升42倍？》

2、應(yīng)用并行化改造

應(yīng)用并行化改造，通俗地講，就是你在云端弄到了1000核資源，怎么把任務(wù)扔到云端，讓其能夠在1000核資源上高效地跑起來(lái)，這就是應(yīng)用并行化改造需要解決的問(wèn)題。
像MOE這樣的應(yīng)用，由于單分子計(jì)算時(shí)間短，分子計(jì)算獨(dú)立，子任務(wù)之間沒(méi)有通信開(kāi)銷(xiāo)，輸入輸出數(shù)據(jù)量小，特別適合并行化運(yùn)行。改造完成后，MOE任務(wù)可在云端分為若干子任務(wù)獨(dú)立計(jì)算，節(jié)省大量時(shí)間。
如何從零開(kāi)始進(jìn)行應(yīng)用并行化改造，可以看這篇《EDA云實(shí)證Vol.7：揭秘20000個(gè)VCS任務(wù)背后的“搬桌子”系列故事》

這一波應(yīng)用優(yōu)化做完后，用戶可以省時(shí)省力地利用云端資源，輕松提升應(yīng)用運(yùn)行效率。

第二步：我們開(kāi)始大規(guī)模MOE任務(wù)上云

云端擴(kuò)展性驗(yàn)證

本地/云端計(jì)算優(yōu)化型實(shí)例

3000個(gè)分子

結(jié)論：

1、同等核數(shù)下，云端計(jì)算優(yōu)化型實(shí)例的表現(xiàn)與本地計(jì)算資源相差無(wú)幾；

2、對(duì)應(yīng)用進(jìn)行并行化改造后，隨著云端核數(shù)的增加，運(yùn)算時(shí)間呈線性下降。當(dāng)CPU核數(shù)從64核增加到384核（6倍）之后，運(yùn)算時(shí)間從188.9分鐘縮短為32.2分鐘（5.9倍）。

實(shí)證過(guò)程：

1、本地使用64核計(jì)算資源運(yùn)算一組MOE任務(wù)（模擬約3000個(gè)分子），耗時(shí)190.4分鐘；

2、云端調(diào)度64核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組MOE任務(wù)（模擬約3000個(gè)分子），耗時(shí)188.9分鐘；

3、云端調(diào)度128核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組MOE任務(wù)（模擬約3000個(gè)分子），耗時(shí)94.7分鐘；

4、云端調(diào)度256核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組MOE任務(wù)（模擬約3000個(gè)分子），耗時(shí)47.4分鐘；

5、云端調(diào)度384核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組MOE任務(wù)（模擬約3000個(gè)分子），耗時(shí)32.2分鐘。

云端大規(guī)模業(yè)務(wù)驗(yàn)證 200000個(gè)分子

結(jié)論：云端調(diào)度384核計(jì)算資源，將一組MOE任務(wù)（模擬約200000個(gè)分子）的計(jì)算周期從本地預(yù)估的8.7天縮短為1.5天，符合“2天內(nèi)完成”的任務(wù)目標(biāo)。

實(shí)證過(guò)程：

1、云端調(diào)度64核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組MOE任務(wù)（模擬約200000個(gè)分子），耗時(shí)12576分鐘（與本地機(jī)房64核的預(yù)估時(shí)間相仿）；

2、云端調(diào)度128核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組MOE任務(wù)（模擬約200000個(gè)分子），耗時(shí)6290分鐘；

3、云端調(diào)度256核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組MOE任務(wù)（模擬約200000個(gè)分子），耗時(shí)3146分鐘；

4、云端調(diào)度384核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組MOE任務(wù)（模擬約200000個(gè)分子），耗時(shí)2138分鐘。

在本實(shí)證中，無(wú)論是模擬3000個(gè)分子還是200000個(gè)分子，MOE的線性擴(kuò)展都相對(duì)良好，當(dāng)云端資源增加到384核之后，運(yùn)算時(shí)間已經(jīng)成功縮短到了2天以內(nèi)。

即便模擬的分子數(shù)量增加到百萬(wàn)甚至千萬(wàn)級(jí)別，經(jīng)過(guò)應(yīng)用并行化處理的MOE依舊可以很好地應(yīng)對(duì)，同時(shí)fastone平臺(tái)還支持使用對(duì)象存儲(chǔ)自動(dòng)優(yōu)化存儲(chǔ)效率和費(fèi)用，以最大化地降本增效。

有些應(yīng)用特性不一樣，如LS-DYNA和Fluent這兩個(gè)應(yīng)用，隨著計(jì)算節(jié)點(diǎn)規(guī)模的增加，節(jié)點(diǎn)間通信開(kāi)銷(xiāo)會(huì)指數(shù)級(jí)上升，性能的提升便隨之變緩。這種情況，我們也有經(jīng)驗(yàn)：

《怎么把需要45天的突發(fā)性Fluent仿真計(jì)算縮短到4天之內(nèi)？》

《LS-DYNA求解效率深度測(cè)評(píng) │ 六種規(guī)模，本地VS云端5種不同硬件配置》

第三步：智能預(yù)測(cè)成本，提前心里有底

在期限內(nèi)成功完成了200000個(gè)分子的模擬之后，課題組開(kāi)始計(jì)劃下一步任務(wù)。出于對(duì)課題總體預(yù)算的把控，老師希望能對(duì)幾個(gè)大規(guī)模MOE運(yùn)算任務(wù)的花費(fèi)進(jìn)行預(yù)估，做到心中有數(shù)，以便及時(shí)調(diào)整計(jì)劃。

這時(shí)候，就輪到fastone平臺(tái)的智能預(yù)測(cè)功能發(fā)揮了。
用戶在fastone平臺(tái)的圖形化操作界面運(yùn)算MOE任務(wù)，完成以下步驟：

1、用戶上傳數(shù)據(jù)文件（平臺(tái)自動(dòng)解析文件，判斷其中包含的分子數(shù)量）

2、用戶輸入期望的運(yùn)算時(shí)間（平臺(tái)推薦用戶適配機(jī)型或用戶自行選擇機(jī)型）

3、系統(tǒng)得出預(yù)測(cè)成本：

根據(jù)不同用戶的需求，fastone平臺(tái)還可以為用戶分別提供成本優(yōu)先和時(shí)間優(yōu)先的智能調(diào)度策略《生信云實(shí)證Vol.3：提速2920倍！用AutoDock Vina對(duì)接2800萬(wàn)個(gè)分子》

老師可以根據(jù)預(yù)測(cè)成本提前權(quán)衡，并在此基礎(chǔ)上進(jìn)行預(yù)算管控。
而對(duì)于企業(yè)用戶，涉及到預(yù)算審批流程，這塊就顯得更為重要，項(xiàng)目負(fù)責(zé)人能夠非常方便地使用該功能預(yù)估項(xiàng)目費(fèi)用，完成項(xiàng)目規(guī)劃和申請(qǐng)。

第四步：權(quán)限和角色管理，團(tuán)隊(duì)必備

對(duì)于團(tuán)隊(duì)來(lái)說(shuō)，fastone平臺(tái)的權(quán)限和角色管理功能，支持管理員角色對(duì)每一個(gè)用戶進(jìn)行相關(guān)權(quán)限設(shè)定，包括預(yù)算使用上限和CPU核數(shù)使用上限。

這是很多團(tuán)隊(duì)在上云時(shí)都可能面臨的問(wèn)題——團(tuán)隊(duì)成員共用一個(gè)賬戶，共享一個(gè)資源池和總預(yù)算額度。團(tuán)隊(duì)管理者——通常是課題組老師——對(duì)于項(xiàng)目整體消耗的總資源和總預(yù)算有一個(gè)清晰的概念，但往往很難對(duì)具體的操作人員進(jìn)行計(jì)算資源和預(yù)算上限管控。

云計(jì)算的靈活性和擴(kuò)展性使得這種管理的重要性大大提升，這里就有一個(gè)反面教材《2小時(shí)，賬單47萬(wàn)！「Milkie Way公司破產(chǎn)未遂事件」復(fù)盤(pán)分析》

fastone平臺(tái)的權(quán)限控制功能方便管理員從全局角度管控項(xiàng)目的資源消耗。該功能與智能預(yù)測(cè)配合使用，能夠從多個(gè)層面對(duì)預(yù)算和資源進(jìn)行全方位規(guī)劃。

實(shí)證小結(jié)

1、MOE任務(wù)能夠在云端有效運(yùn)行；

2、fastone平臺(tái)成功將大規(guī)模MOE任務(wù)的運(yùn)算時(shí)間縮短到了2天以內(nèi)；

3、fastone平臺(tái)自定義工作流模板功能讓用戶一次制作，反復(fù)使用，既適配生命科學(xué)領(lǐng)域應(yīng)用特性，又大幅提升用戶和團(tuán)隊(duì)工作效率；

4、fastone平臺(tái)的智能預(yù)測(cè)、權(quán)限和角色管理功能讓課題組老師能夠更輕松進(jìn)行團(tuán)隊(duì)管理和項(xiàng)目規(guī)劃。

本次生命科學(xué)行業(yè)云實(shí)證系列Vol.9就到這里了。下一期的生信云實(shí)證，我們聊Schr?dinger。請(qǐng)保持關(guān)注哦！
關(guān)于fastone云平臺(tái)在其他應(yīng)用上的表現(xiàn)，可以點(diǎn)擊以下應(yīng)用名稱(chēng)查看：HSPICE │ Bladed │ Vina │ OPC │ Fluent │ Amber │ VCS │ LS-DYNA

- END -

我們有個(gè)生物/化學(xué)計(jì)算云平臺(tái)
集成多種生命科學(xué)領(lǐng)域應(yīng)用，大量任務(wù)多節(jié)點(diǎn)并行
應(yīng)對(duì)短時(shí)間爆發(fā)性需求，連網(wǎng)即用
跑任務(wù)快，原來(lái)幾個(gè)月甚至幾年，現(xiàn)在只需幾小時(shí)5分鐘
快速上手，拖拉點(diǎn)選可視化界面，無(wú)需代碼
支持高級(jí)用戶直接在云端創(chuàng)建集群

掃碼免費(fèi)試用，送200元體驗(yàn)金，入股不虧~