Novartis 諾華制藥一直是速石極為關(guān)注的一家公司。在我們心目中,Novartis在IT技術(shù)與制藥業(yè)技術(shù)大融合方面的革新,一直是業(yè)界排頭兵,堪稱楷模。
5年前,Novartis與AWS發(fā)布的一個(gè)公開案例就深深震撼到了我們:
“We completed the equivalent of 39 years of computational chemistry in just under 9 hours.”
- Steve Litster, Ph.D., Global Head of Scientific Computing
不到9小時(shí),我們完成了相當(dāng)于39年的化學(xué)計(jì)算。
5年前,在很多人腦海里,“Cloud Computing云計(jì)算”這個(gè)概念才剛剛萌芽,而作為擁有百年歷史的制藥界巨頭,已經(jīng)開始運(yùn)用云的能力來賦能其核心藥物研發(fā)過程。
讓我們回顧一下這個(gè)案例:
Novartis的NovatisInstitutes for Biomedical Research’s (NIBR) 部門成立的初衷就是為了針對(duì)特定疾病提供一整套治療和預(yù)防藥物,從而大幅度提升生命的質(zhì)量。
截至2013年,NIBR在全球擁有6000名科學(xué)家,同時(shí)進(jìn)行著130個(gè)藥物研發(fā)項(xiàng)目,主要聚焦于不同疾病所公有的分子路徑研究。
傳統(tǒng)上看,一個(gè)創(chuàng)新藥物從開始研發(fā)到最終面世,往往需要10年-15年的時(shí)間,其間消耗的成本在20億美元以上,同時(shí)失敗的風(fēng)險(xiǎn)巨大。為了應(yīng)對(duì)這一挑戰(zhàn),NIBR決定通過新一代的HPC系統(tǒng)來大幅度縮短研發(fā)周期。
2013年,Novartis啟動(dòng)了一個(gè)針對(duì)某一常見癌癥的化合物篩選的項(xiàng)目,需要在一周時(shí)間內(nèi)完成千萬個(gè)化合物的篩選工作。根據(jù)簡單的估算,如果依靠Novartis自有的IT環(huán)境,他們可能需要50000個(gè)CPU核,總體成本可能接近4000萬美元。
幸運(yùn)的是,公有云服務(wù)的出現(xiàn),讓這樣的問題迎刃而解。
Novartis和AWS以及Cycle Computing(后來被微軟收購)一起合作,為了這個(gè)項(xiàng)目,同時(shí)運(yùn)行了10600個(gè)SPOT Instance,共計(jì)87000個(gè)CPU核,從而在短短9個(gè)小時(shí)以內(nèi)完成了這項(xiàng)歷史性的壯舉,而其硬件的成本,僅僅是4000多美元!
5年的時(shí)間如白駒過隙,2018年底的AWS Re:Invent 大會(huì)上,Novartis又出現(xiàn)在講臺(tái)上。
這一次,Novartis給出了他們對(duì)HPC以及新興IT技術(shù)的進(jìn)一步思考——“關(guān)于混合架構(gòu)環(huán)境下的HPC系統(tǒng)的十大策略”:
-1-1024x571.png)
Portability .
設(shè)計(jì)所有新的業(yè)務(wù)流程以及后臺(tái)支撐的基礎(chǔ)架構(gòu),而這些應(yīng)該與物理站點(diǎn)解耦。
速石短評(píng)
軟硬件平臺(tái)解耦是實(shí)現(xiàn)新一代混合HPC架構(gòu)的必要條件,也是避免Vendor Lock in的合理措施,雖然會(huì)有一定的工作量,但所獲得的靈活性絕對(duì)絕對(duì)對(duì)得起前期的付出。
Hybrid .
同時(shí)使用自有的數(shù)據(jù)中心以及云服務(wù)來滿足HPC計(jì)算的需求。這兩者之間的選擇取決于預(yù)設(shè)的系統(tǒng)運(yùn)行原則(time-to-value,成本,能力以及物理限制等等)。
速石短評(píng)
混合云是HPC的大勢(shì)所趨,on-premise平臺(tái)和Cloud各有優(yōu)勢(shì),缺一不可。而HPC workload的分配應(yīng)該是策略驅(qū)動(dòng)(Policy-driven) 和高度自治化(Autonomous)的,成本,性能,安全,物理距離都是可以考量的因素。
雖然不知道Novartis已經(jīng)能達(dá)到什么樣的程度,但相信這一大方向是不會(huì)錯(cuò)的。
Multi-cloud with preferred vendor bias .
如果需要使用云資源,缺省情況下使用首選的云服務(wù)供應(yīng)商。如果其它的云供應(yīng)商在某些方面有明顯優(yōu)勢(shì),則可以同時(shí)采用多家云供應(yīng)商。
速石短評(píng)
Multi-cloud會(huì)給HPC算力的調(diào)配帶來更多的靈活度和更大的規(guī)模,從而最終用戶可以獲得更好的成本結(jié)構(gòu)和性價(jià)比。
當(dāng)然作為Novartis這樣體量的客戶,一定會(huì)有一家首選的戰(zhàn)略合作云供應(yīng)商,也可能會(huì)因此獲得更好的價(jià)格和支持。而對(duì)于小一些的客戶,preferred vendor bias就未必是必要的了。
Two centers .
將自有的HPC資源環(huán)境分成兩個(gè)集群:一個(gè)在美國,一個(gè)在歐洲。
速石短評(píng)
Novartis家大業(yè)大,自家的IT環(huán)境可以輕松的做到多站點(diǎn)。但對(duì)于一般用戶而言,這一點(diǎn)實(shí)現(xiàn)起來不易。
但其思路值得借鑒,那就是高可用性和冗余,同時(shí)計(jì)算資源更加貼近最終使用者。正在興起的“邊緣計(jì)算(Edge Computing)”也許是可以利用的工具。
Lease .
將軟硬件采購模式調(diào)整為以租賃為核心,從而能更有效的跟蹤和適應(yīng)計(jì)算需求以及IT技術(shù)的快速變化。
速石短評(píng)
“租”在很多時(shí)候會(huì)比“買”要好,這一論斷對(duì)于企業(yè)IT環(huán)境而言,越來越不言而喻。
在中國,個(gè)人和公司對(duì)“資產(chǎn)”的追求有著一種偏執(zhí),而這其實(shí)會(huì)大大降低自身的效率和靈活度,也是對(duì)社會(huì)資源的一種浪費(fèi)。大家可以再仔細(xì)想想這條策略的本質(zhì)。
Environment isolation .
HPC基礎(chǔ)架構(gòu)應(yīng)該獨(dú)立于一般的IT環(huán)境,并且應(yīng)該為科研需求單獨(dú)優(yōu)化。
速石短評(píng)
國內(nèi)絕大部分客戶,研發(fā)使用的HPC環(huán)境是和企業(yè)其他IT應(yīng)用在同一基礎(chǔ)架構(gòu)下運(yùn)行的,這本身可以提高資源利用率,但也使得HPC環(huán)境的隔離和調(diào)優(yōu)變得很困難。一個(gè)切實(shí)可行的解決方法是對(duì)HPC的應(yīng)用和功能進(jìn)行封裝,實(shí)現(xiàn)軟件定義的HPC架構(gòu)。
Stage data .
HPC環(huán)境應(yīng)該只處理中間數(shù)據(jù)(Staged Data)。所有數(shù)據(jù)應(yīng)該被復(fù)制進(jìn)HPC系統(tǒng),計(jì)算完成,再復(fù)制出去。數(shù)據(jù)復(fù)制傳輸?shù)墓ぞ邞?yīng)該盡可能的好用。
速石短評(píng)
這一策略,沒有多年的HPC運(yùn)營經(jīng)驗(yàn),是提不出來的。為了讓HPC環(huán)境變得高效而易于管理,數(shù)據(jù)生命周期管理的工作應(yīng)該由其它獨(dú)立的平臺(tái)來完成。
Shared cost model.
HPC基礎(chǔ)架構(gòu)的成本應(yīng)該由HPC團(tuán)隊(duì)來承擔(dān),而最終用戶有權(quán)根據(jù)自身的業(yè)務(wù)需要來負(fù)擔(dān)動(dòng)態(tài)成本。
速石短評(píng)
好羨慕Novartis,能提出這樣“烏托邦”的思路。不過進(jìn)一步細(xì)想,這個(gè)策略在一般公司落地也不無可能。
針對(duì)國內(nèi)的商業(yè)環(huán)境和公司組織架構(gòu)特點(diǎn),我們建議在HPC項(xiàng)目上,使用部門應(yīng)該承擔(dān)更多的角色。因?yàn)镠PC和業(yè)務(wù)及研發(fā)的關(guān)聯(lián)是如此緊密,完全可以被視為研發(fā)的生產(chǎn)資料,而非IT平臺(tái)。使用部門提出具體需求,負(fù)責(zé)HPC整個(gè)項(xiàng)目的執(zhí)行,并承擔(dān)預(yù)算,IT部門協(xié)助提供技術(shù)支持,應(yīng)該是一個(gè)更現(xiàn)實(shí)且更高效的實(shí)現(xiàn)路徑。
Enable and empower users .
建立支持服務(wù),以更好的服務(wù)于最終用戶,使不同技能級(jí)別的用戶都可以高效地以自服務(wù)方式使用HPC服務(wù)。
速石短評(píng)
自服務(wù)Self-Service是HPC在功能方面演進(jìn)的思路,一套好的HPC平臺(tái),在用戶體驗(yàn)層面,應(yīng)該切實(shí)降低業(yè)務(wù)用戶的使用門檻和學(xué)習(xí)曲線,應(yīng)該盡量的不改變業(yè)務(wù)用戶日常操作的方式。
Planned recurring reviews .
定期回顧這些策略的關(guān)鍵元素,以決定是否需要調(diào)整。
速石短評(píng)
不得不佩服老外的思維方式,永遠(yuǎn)是具備了嚴(yán)密的邏輯性,任何的方法論,都能形成一個(gè)自我迭代更新的閉環(huán)。當(dāng)然,業(yè)務(wù)需求和技術(shù)供給,永遠(yuǎn)是動(dòng)態(tài)變化的,不排除未來出現(xiàn)新的技術(shù)或應(yīng)用模式(比如,邊緣計(jì)算),因此定期回顧是應(yīng)有之義。
看得出,在過去的5年里,Novartis在HPC on HybridCloud這方面有了更多的經(jīng)歷和經(jīng)驗(yàn),能給出這樣精辟的總結(jié),實(shí)屬行業(yè)之幸。
- END -
關(guān)于我們:
速石科技專為有高算力需求的企業(yè)級(jí)用戶提供一站式算力運(yùn)營解決方案,幫助用戶提升10-20倍業(yè)務(wù)運(yùn)算效率,降低成本達(dá)到75%以上,加快市場(chǎng)響應(yīng)速度。目前主要應(yīng)用領(lǐng)域包括藥物研發(fā)、基因測(cè)序分析、半導(dǎo)體行業(yè)的EDA仿真及電路設(shè)計(jì)、汽車行業(yè)的自動(dòng)駕駛開發(fā)、虛擬碰撞試驗(yàn)以及AI人工智能。
想了解更多,可添加小F微信(ID:imfastone)
文章推薦:
>>AWS、阿里云、Azure、Google Cloud、華為云、騰訊云 各種云服務(wù)器價(jià)格收費(fèi)對(duì)比(上)
>>云資源中的低成本戰(zhàn)斗機(jī)——競(jìng)價(jià)實(shí)例,AWS、阿里云等六家云廠商完全用戶使用指南