這是一篇推薦我們速石自研調度器——Fsched的文章。
看起來在專門寫調度器，但又不完全在寫。
往下看，你就懂了。
本篇一共五個章節：
一、介紹一下主角——速石自研調度器Fsched
二、只要有個調度器，就夠了嗎？
三、全面對比：速石研發平臺 VS LSF Suite
四、如果你想嘗試AI——
五、不止半導體領域。。。。
介紹一下主角
速石自研調度器Fsched
fastone Scheduler，簡稱Fsched，是速石科技所有產品的核心調度組件。Ta是面向HPC集群的操作系統，是HPC集群的“大腦”，用于對HPC集群內的計算資源進行管理、監控，對用戶提交的任務進行統一管理、分發和遠程執行。
Fsched是速石科技基于開源的Slurm版本進化而來的全新產品。
01 、我們的Fsched調度器到底厲害在哪？
先看一組我們在半導體領域用戶的真實驗證數據：
5個月時間內：
CPU調度峰值達到5萬核；
提交了超過8000萬Jobs；
構建超過700臺機器組成的大規模集群；
使用量約3000萬核時。
Fsched性能指標
吞吐量：1000 jobs/second
響應時間：1 ms
集群規模：
單個Fsched集群能夠支持的最大節點數：1000
單個Fsched集群能夠支持的最大CPU核數：30000
總結一下，Fsched調度器優勢：
1. 完全由速石獨立開發，性能卓越；
2. 我們能提供代碼級技術支持；
3. 支持市面上幾乎所有EDA工具；
4. 服務了100+家不同類型的半導體行業用戶；
5. 兼容LSF/SGE等調度器，使用體驗不變。
關于調度器科普和不同流派近二十年的發展歷程，可以點擊回顧：億萬打工人的夢：16萬個CPU隨你用
02、代碼級技術支持有什么不一樣？
代碼級技術支持的特別之處主要體現在解決問題的路徑上。
一句話，我們能做很多人做不到的事情。
一般問題：我們站在產品視角來解決
特殊問題：我們以開發者身份來解決
比如一些特殊調度策略的改造與優化，我們是開發者，所以能做。包括各種調度器日志的監控分析，優化調度器的提交方式和腳本等等。
DEBUG：深入代碼級的技術支持
舉一個典型例子：當研發提交任務出現異常狀態，怎么辦？
我們首先需要定位與任務相關的日志。日志分為：基礎設施層日志、中間件層日志、應用層日志等。
IT和研發工程師的關注點不一樣：IT工程師一般看基礎設施層日志，CAD和研發工程師看中間件層日志和應用層日志。不同角色各看各的，定位問題效率低。
我們通過Fsched調度器：
1. 把調度任務的異常日志分類，找出是哪一層的問題；
2. 任務狀態跟蹤，通過異常應用找出相應進程和IO信息，方便判斷；
3. 通過數據分析抓取日志中的關鍵信息。
找到問題，over。
03、Slurm之上，我們還做了什么？
Slurm是厲害的：全球60%的TOP500超算中心和超大規模集群（包括我國的天河二號等）都采用Slurm作為調度系統。它擁有容錯率高、支持異構資源、高度可擴展等優點，適用性相當強。
那么，基于Slurm之上，我們還做了些什么？
從0到1，幫助用戶更快，更簡單地用起來
1. 產品級IT自動化管理，標準化地調用資源，保證環境一致性，降低用戶配置復雜度和出錯率，上手更容易；
2. 從業務出發，Fsched與底層資源的聯動性強，根據任務需求自動伸縮，更符合云上使用方式。
從1到10，讓用戶用得穩定，用得放心
1. 對Slurm開源版進行修復與增強。修復Slurm開源版在復雜環境下任務異常崩潰等問題，增加了混合云智能調度能力；
2. 基于Wrapper組件，Fsched對上層EDA應用進行了兼容與優化，保證用戶使用體驗不變；
PS：同樣是Wrapper，水平也是有高下的。要達到多年戰斗在一線的專業高級口譯的經驗和水平，只能說：有難度。
3. 根據最佳實踐經驗總結的流程與規則，能優化EDA Workflow，提高調度器使用效率；
4. 代碼級支持能力讓用戶無后顧之憂。
只要有個調度器
就夠了嗎？
答案自然是否定的。
為什么？
或許，我們可以換個角度來回答這個問題。
就像汽車出現之前，用戶的期望永遠是——1匹更快的馬一樣。
在當下芯片設計研發領域，我們如果把調度器類比馬，那么汽車是什么呢？
我們給大家簡單描繪一下：
一個站在整個芯片設計研發體系和架構視角來滿足EDA行業用戶性能、功能、體驗的產品。
1. Ta是完整的一體化產品，功能緊密耦合，且經過層層實戰考驗；
2. Ta解決的是完整生命周期的芯片設計業務問題，調度器只是其中一個模塊；
3. Ta具有對企業未來發展的彈性，能擴展至不同規模和更多業務路線，比如AI。
而這，正是我們與其他很多產品最大的區別之一。
我們的產品在設計之初就是面向EDA應用，服務芯片設計研發業務場景的。這也決定了我們解決問題的出發點永遠是：是否滿足研發業務需求，然后從上至下地解決問題。
首先，我們提供的是一整套上中下層聯動的芯片設計研發環境：
1. 連接上層EDA應用，對應用本身的運行提供支持和優化；
2. 連接底層資源，給用戶提供更靈活，更高效使用資源的能力；
3. 結合EDA應用和底層資源的聯動和適配，給出最佳實踐經驗。
第二，我們的功能都是面向實際業務場景設計和提供的：
1. License調度優化，可幫助企業用戶最大化提升License利用率，更好地規劃License購買策略，控制整體使用成本；
2. 我們能多維度監控任務狀態，提供基于EDA任務層的監控、告警、數據統計分析功能與服務，讓團隊管理者監控各個重要指標變化，從全局角度掌握項目的整體任務及資源情況，為未來項目合理規劃、集群生命周期管理、成本優化提供支持；
3. 日常數據統計與運營分析管理，實現問題可追溯，可追蹤，降低成本，提升整體項目管理效率。
第三，我們的交互方式不改變EDA用戶使用習慣。原來怎么用，現在還怎么用。
速石研發平臺
VS
LSF Suite
半導體行業用戶最熟悉的調度器是LSF，就不多介紹了。
不過，它背后的LSF Suite大家就不一定熟悉了。
來來，我們盤一下，我們速石研發平臺跟LSF Suite的區別是什么？
01、根本區別：設計理念不一樣
我們是站在整個芯片設計研發體系和架構視角來設計的一體化產品，解決的是完整生命周期的芯片設計業務問題，功能緊密耦合，且經過層層實戰考驗。
而Fsched調度器只是其中一個模塊，不單獨售賣，在我們的全線企業級產品均屬內置，且與產品其他功能深度綁定。
這正是我們上一節提到的面向EDA業務的產品定位決定的。
而LSF Suite里的核心調度器LSF與其他組件是不關聯的，屬于可選項。這也導致了用戶大多只接觸過LSF，而對它的其他組件沒有什么概念。
而且，因為各種功能組件之間獨立存在的，用戶使用的時候需要根據自己業務需要進行二次開發組裝，從零開始進行功能模塊需求評估、采購、對接、開發和測試驗證兼容性，才能搭建出一個完整的研發環境，時間周期也會比較長。
另外還有期間的運維、后續的更新升級和功能擴展等事項。
02、性價比：速石研發平臺TCO更低
下圖是我們研發平臺與LSF Suite的橫向對比圖，可以清楚地看到，兩者的收費模式差別很大。
我們Fsched調度器是包含在平臺費用里的，相關組件也都是隨產品一起內置的，不單獨收費。
而LSF Suite除了核心調度器按使用核數收費以外，所有功能組件都需要額外收費。
從總擁有成本來看，對用戶來說，速石研發平臺付出的成本更低，獲得的東西更多。還有很多隱性成本沒有列在表格里，比如對接調試時間成本，人工成本，售后支持成本等等。
總結一下，我們跟LSF Suite的五大主要區別：
1. 核心調度器Fsched完全國產自研，有代碼級支持能力；
2. 我們的產品設計初衷就是提供面向EDA業務的一整套研發環境，可擴展性強；
3. 各功能模塊緊密耦合，不單獨收費，整體性價比高；
4. 我們的CAD能力與經驗，能有效提高上中下層整體聯動效率；
5. 我們兼容LSF/SGE等調度器，使用體驗不變。
如果你想嘗試AI——
目前，AI在芯片設計領域的應用主要有兩條路線：
路線一：AI+EDA工具
Synopsys、Cadence與Siemens等公司紛紛在其最新工具中使用了AI技術，覆蓋先進數字與模擬芯片的設計、驗證、測試和制造環節，讓開發者在芯片開發的每一個階段都可以采用借助AI的自主學習能力，提供芯片設計生產力。
當然，越來越多EDA工具也支持借助GPU進行運算加速。
路線二：AI算法模型訓練
Google研究人員使用10,000個芯片布局圖來訓練他們的深度學習模型——PRIME，人工智能生成的芯片的設計時間不到六個小時。
而NVIDIA設計了另一種用于芯片設計的深度學習方法——PrefixRL模型，NVIDIA使用其RL工具設計的電路比人類使用當今EDA工具設計的電路小25%，但性能相似。
路線一需要支持全流程EDA工具的一整套研發環境，以及構建異構資源（CPU+GPU、本地+云上）的調度及管理平臺的能力。
路線二需要的支持企業從ML/LLM模型構建、大規模訓練到最終部署需求的MLOps模塊。
我們都有。
另外，我們剛剛發布的一款行業知識庫聊天應用Megrez，面向企業客戶提供大語言模型的私有化部署能力，允許用戶自定義行業知識庫，實現領域知識的問答。
不止半導體領域。。。。
在半導體以外的其他行業，如生命科學、汽車/智能制造，我們也表現不錯：
這樣跑COMSOL，是不是就可以發Nature了
LS-DYNA求解效率深度測評 │ 六種規模，本地VS云端5種不同硬件配置
怎么把需要45天的突發性Fluent仿真計算縮短到4天之內？
從4天到1.75小時，如何讓Bladed仿真效率提升55倍？
王者帶飛LeDock！開箱即用&一鍵定位分子庫+全流程自動化，3.5小時完成20萬分子對接
1分鐘告訴你用MOE模擬200000個分子要花多少錢
155個GPU！多云場景下的Amber自由能計算
提速2920倍！用AutoDock Vina對接2800萬個分子
關于fastone云平臺在各種EDA應用上的表現，可以點擊以下應用名稱查看：
HSPICE │ OPC │ VCS │ Virtuoso │ Calibre
速石科技芯片設計五部曲，前三部先睹為快：
- END -
我們有個IC設計研發云平臺
IC設計全生命周期一站式覆蓋
調度器Fsched國產化替代、專業IT-CAD服務
100+行業客戶落地實踐
支持海內外多地協同研發與辦公
多層安全框架層層保障
掃碼免費試用，送200元體驗金，入股不虧~
更多EDA電子書
歡迎掃碼關注小F（ID：iamfastone）獲取
你也許想了解具體的落地場景：
暴力堆機器之王——Calibre
Auto-Scale這支仙女棒如何大幅提升Virtuoso仿真效率？
揭秘20000個VCS任務背后的“搬桌子”系列故事
大規模OPC上云，5000核并行，效率提升53倍
從30天到17小時，如何讓HSPICE仿真效率提升42倍？
芯片設計研發平臺：
【案例】95后占半壁江山的浙桂，如何在百家爭鳴中快人一步
最強省錢攻略——IC設計公司老板必讀
芯片設計五部曲之三 | 戰略規劃家——算法仿真
【案例】速石X騰訊云X燧原：芯片設計“存算分離”混合云實踐
解密一顆芯片設計的全生命周期算力需求
缺人！缺錢！趕時間！初創IC設計公司如何“絕地求生”？
重大事件：
速石科技聯合芯華章，推動新一代EDA向云原生邁進
速石科技賦能里恩特，開拓更廣闊的芯片設計市場
速石科技應邀出席2023世界人工智能大會，AI研發平臺引人矚目
速石科技與深信服開啟戰略合作，助力芯片設計自主創新
速石科技成三星Foundry國內首家SAFE
云合作伙伴
夢想還是要有的，萬一它實現了呢？
首先，你要有個調度器。
我們現在說的調度器，主要是基于HPC場景的集群任務調度系統，英文叫Cluster Scheduler、Job Scheduler等。
市面上主流調度器有四大流派：LSF/SGE/Slurm/PBS。
不同行業因為使用習慣和不同調度器對應用的支持力度不同，往往會有不同的偏好：比如高校和超算經常用Slurm，半導體公司最常用的是LSF和SGE，工業制造業可能用PBS更多一些。
調度器是干嘛的？
如果有一臺或者幾臺機器，專屬你所有，你可以抱著他們一直持續而緩慢地用下去，調度器是沒什么用武之地的。
那什么場景需要呢？資源緊張或者時間緊張的時候。
為啥緊張就需要呢？因為需要最大程度壓榨現有資源或時間的最大價值。
比如驗證跑個regression，如何做到幾萬個test case并行？
用1臺機器做分子對接和1000臺有什么區別？100000臺呢？
舉個例子。
這是上次那篇 15小時虛擬篩選10億分子，《Nature》+HMS驗證云端新藥研發未來 文章里哈佛大學醫學院用云端16萬個CPU來篩選10億種化合物，只用了15小時。
這是他們提供的超大規模計算集群上的工作流程圖：
藍色框表示計算節點，其中包含CPU核數（藍色框內的黑色正方形），紫色小圓圈代表待處理的配體。整張圖代表整個計算集群，并行運行1.1到X.1個任務，任務1.1完成后會自動運行任務1.2，以此類推直到任務完成。
每個任務（包含多個子任務）使用3個計算節點，每個節點有8個CPU核。
假設我們有10億化合物需要篩選，面對16萬CPU，把流程圖里缺乏的時間維度考慮進來，我們可以多思考幾個問題：
- 16萬CPU，怎么順利一一配置，啟動，關閉？
- 怎么能讓集群整體資源利用率最高？跑更多任務？
- 能不能指定特定任務在某種類型計算節點上運行？
- 任務之間存在先后順序，能否確保特定任務一定先運行？
- 怎么統計和限制不同用戶的用量？
- 怎么監控每個節點的狀態和使用情況？
- 怎么降低集群的整體運行成本？避免浪費？
- 計算節點間網絡/數據傳輸怎么考慮？
- 如何應對云上集群資源高度動態的特性？空閑資源不足時怎么辦？
……
當然，有些事已經不屬于調度器的范疇了，這次我們不展開。
如果還不是特別明白，再打個比方。認真想像一下你是老板，手里有且只有100個打工人，你想想要怎么管理才能讓他們更好地為你工作？？
好了，靈魂科普就到這里。
今天我們基于這幾家主流調度器：LSF/SGE/Slurm/PBS以及它們的不同演化版本進行了梳理和盤點，尤其是對云的支持方面劃了重點。
以下是正文。
LSF流派
Spectrum LSF、PlatformLSF、OpenLava
基于LSF（Load Sharing Facility）的調度器主要有Spectrum LSF、PlatformLSF、OpenLava三家。
早期的LSF是由Toronto大學開發的Utopia系統發展而來。
2007年，Platform Computing基于早期老版本的LSF開源了一個簡化版Platform Lava。
這個開源項目2011年中止了，被OpenLava接手。
2011年，Platform員工David Bigagli基于Platform Lava的派生代碼創建了OpenLava 1.0。2014年，一些Platform的員工成立了Teraproc公司，為OpenLava提供開發和商業支持。2016年IBM就LSF版權對Teraproc公司發起訴訟，2018年IBM勝訴，OpenLava被禁用。
2011年，Platform Lava開源項目中止后。2012年1月，IBM收購了Platform Computing。Spectrum LSF就是IBM收購后推出的商用版本，目前更新到10.1.0，同時支持Linux和Windows，最大節點數超過6000，在國內提供商業支持。
Platform LSF是LSF的早期版本，與Spectrum LSF一樣屬于IBM，目前版本是9.1.3，目測已經停止更新以維護為主。
在這三個調度器中，僅有Spectrum LSF支持Auto-Scale集群自動伸縮功能，同時該調度器還可通過LSF resourceconnector實現溢出到云，支持云廠商包括AWS、Azure、Google Cloud。
SGE流派
UGE、SGE
基于SGE（Sun Grid Engine）的調度器包括UGE（Univa Grid Engine）和SGE（Son of Grid Engine）。
1993年，Grid Engine作為商業軟件發布，先后使用了CODINE（Computing in Distributed Networked Environments）、GRD（Global Resource Director）作為名稱。1999年，第一次由Genias Software推出市場，然后被Gridware公司收購。直到2000年被SUN收購之后正式改名Sun Grid Engine，2001年發布開源版。
2010年被Oracle收購后改名Oracle Grid Engine，改成閉源版，不提供源代碼。原來開源項目的資料庫禁止用戶修改。
于是，Grid Engine社區開始開源版本的SGE（Son of Grid Engine）項目。該調度器最后一次更新為2016年的8.1.9，由于存在版權風險，SGE已長期無維護和更新。
2013年Univa收購了Oracle Grid Engine，成為唯一商業軟件UGE（Univa Grid Engine）提供商。UGE最新版本為8.6.15，同時支持Linux和Windows，國內暫無商業支持的相關信息。
2020年9月，Altair收購了Univa。
用戶可通過Univa產品Navops Launch把工作負載移到云端，同時支持UGE和Slurm集群。同時，Navops Launch支持AWS、Azure、Google Cloud等云廠商，并能進行云端費用監控以及Auto-Scale集群自動伸縮。
Slurm-四大流派里唯一純開源派
Slurm全稱為Simple Linux Utility for Resource Management，前期主要由勞倫斯利弗莫爾國家實驗室、SchedMD、Linux NetworX、Hewlett-Packard 和 Groupe Bull 負責開發，受到閉源軟件Quadrics RMS的啟發。
Slurm最新版本為20.02，目前由社區和SchedMD公司共同維護，保持開源和免費，由SchedMD公司提供商業支持，僅支持Linux系統，最大節點數量超過12萬。
Slurm擁有容錯率高、支持異構資源、高度可擴展等優點，每秒可提交超過1000個任務，且由于是開放框架，高度可配置，擁有超過100種插件，因此適用性相當強。
全球60%的TOP500超算中心和超大規模集群（包括我國的天河二號等）都采用Slurm作為調度系統。我們的TOP500就是用Slurm調度云上資源跑的。上榜啦～花費4小時5500美元，速石科技躋身全球超算TOP500
我們支持在Slurm上的集群自動伸縮和云端費用監控，并支持AWS、阿里云、Azure、騰訊云、華為云、Google Cloud等云廠商。
fastone的Auto-Scale功能可以自動監控用戶提交的任務數量和資源的需求，動態按需地開啟所需算力資源，在提升效率的同時有效降低成本。
EDA云實證Vol.1：從30天到17小時，如何讓HSPICE仿真效率提升42倍？ 這篇主要看通過我們自動化部署和手動部署的差別。
CAE云實證Vol.2：從4天到1.75小時，如何讓Bladed仿真效率提升55倍？
生信云實證Vol.3：提速2920倍！用AutoDockVina對接2800萬個分子 這篇主要看我們基于用戶不同的策略，跨區、跨類型自動為用戶調度云資源，如何以最快速度or最低成本完成計算任務。
PBS流派
OpenPBS、PBS PRO、Moab/TORQUE
基于PBS（Portable Batch System）的調度器包括OpenPBS、PBS PRO、Moab/TORQUE。
PBS最初是由MRJ Technology Solutions于 1991 年 6 月開始為 NASA 所研發的作業調度系統，MRJ于 20 世紀90 年代末被 Veridian 收購。2003年，Altair收購了Veridian，獲得了PBS的技術和知識產權。
PBS Pro是Altair旗下PBS WORKS提供的商業版本，支持可視化界面，節點數超過50000個。
2016年Altair基于PBS Pro提供了開源許可版本，其與MRJ于1998年發布的原始開源版本兩者合二為一大致就是現在的OpenPBS。與Pro版本比，多了很多限制，但都支持Linux和Windows。
Moab/TORQUE合在一起是一個完整調度器的功能，現在屬于同一家公司Adaptive Computing。90年代中期由MHPCC的David Jackson開發的Maui，他后來創立了Adaptive Computing。
Moab是Adaptive Computing 公司（前身為 Cluster Resources 公司開發的Maui Cluster Scheduler）維護的 OpenPBS 分支，2003年發布。該項目最初是開源免費的，后來變成了商用軟件Moab后不再免費。
TORQUE（Terascale Open-source Resource and QUEue Manager）早期的 Torque 也是開源免費軟件，不過 2018 年 6 月開始 TORQUE 不再開源。
兩者均只支持Linux系統，提供可視化界面，擁有約數千個節點。
云服務方面，PBS Pro能通過Altair Control產品從本地溢出到多云和Auto-Scale集群自動伸縮，支持的云廠商包括AWS、Azure和Google Cloud。
Moab/TORQUE 則可通過 NODUSCloud OS 產品實現本地擴展到云，支持TORQUE 或 Slurm集群和自動伸縮，可支持的云廠商包括AWS、Azure、GoogleCloud 和華為云，并通過 Account Manager 產品實現云端費用監控。
我們整理了一張包含上述四大類共9種調度器在內的信息集成表，有興趣的可以文末掃碼添加小F微信（ID：imfastone），回復“調度器”獲取原始表單。
預告一下，在下一篇EDA云實證Vol.4中，我們在相同場景下使用不同調度器進行了云端驗證，敬請期待吧！
- END -
2分鐘自動開通，即刻獲得TOP500超級算力
點擊下圖立即體驗
2020年新版《六大云廠商資源價格對比工具包》
添加小F微信（ID: imfastone）獲取
你也許想了解具體的落地場景：
生信云實證Vol.3：提速2920倍！用AutoDock Vina對接2800萬個分子
CAE云實證Vol.2：從4天到1.75小時，如何讓Bladed仿真效率提升55倍？
EDA云實證Vol.1：從30天到17小時，如何讓HSPICE仿真效率提升42倍？
15小時虛擬篩選10億分子，《Nature》+HMS驗證云端新藥研發未來
關于云端高性能計算平臺：
國內超算發展近40年，終于遇到了一個像樣的對手
幫助CXO解惑上云成本的迷思，看這篇就夠了
靈魂畫師，在線科普多云平臺/CMP云管平臺/中間件/虛擬化/容器是個啥
花費4小時5500美元，速石科技躋身全球超算TOP500