【2022年4月19日,CTIMES,文/GARAOTUS】近來包括處理器大廠美商超微(AMD)推出全新AMD Instinct MI210加速器,為廣大高效能運算(High Performance Computing;HPC)與人工智慧(AI)提供百億億次級(exascale)等級技術;NVIDIA也在2022年 GTC 大會,宣布架構於物理學的 Modulus 人工智慧框架,能使 Omniverse環境獲得物理機器學習的加速,以數千倍的速度解決較過往高出數百萬倍規模的科學與工程問題,「比快更快」儼然成為世界大廠競技的主要課題,無不紛紛投入大量投資在加速滿足資料中心運算的需求上。
依照國際研究機構Hyperion Research 於2022年報告指出,全球在HPC 的總支出從 2020年的306億美元迅速成長到2021年的348億美元,增長幅度達13.8%;2021 年伺服器總銷售額也高達148億美元,成長了9.1%;在GPU及加速器的部份,年成長則來到了 44.1%。縱觀HPC生態圈,包括伺服器、儲存、軟體、應用以及維修服務等市場將高達297億美元。
為什麼各行各業對科學運算有如此大的需求?即便是疫情以及經濟停滯的期間,HPC市場仍具有顯著成長,Hyperion Research 首席執行官Earl Joseph指出:「全球 HPC 市場增長主要受到新技術的推動,例如人工智慧、機器學習、大數據等。」在各專業領域中,已常見使用電腦運算來解決實務問題,可以小至日常工作的作業流程,如生產線上作業員的工作分配,大至氣候變化及火箭升空等計算,都有著科學運算的蹤跡。
為問題求解,科學運算的步驟與方法
在實務上而言,一般的科學運算通常包括以下五個步驟:
第一步:將問題概念化
將現實世界中複雜的實務問題轉變為特定型式的概念模型,例如將實體機構件轉變為3D網格、將化學反應轉變為化學式、將工作流程轉變為流程圖、將基因交互作用轉變為調控網路等,都是概念化的例子,各專業領域的各個主題都有常用的不同概念模型,將概念轉化必須靠著具備多重領域的專業團隊,才能實現。
第二步:概念數學化
將上述步驟的概念模型轉為可以用數學表達的形式,例如網格模型的有限元素法、流程模型的馬可夫鏈、化學和基因網路的微分方程組等,這個步驟的轉換靠的是對於問題的了解,以解釋成為符合邏輯推演的運算式。
第三步:設計運算模型
前述的數學形式在複雜的實務問題中經常無法直接求解,因此需要以各種數值方法或是控制變數等來逼近最佳解,並且做反覆的大規模運算,這就需要有HPC的運算力才能做到。而在實際應用上,如何處理大量資料存取、平行化運算、網路延遲等技術問題,都需要一個好的網路架構設計,因此,高達297億美元的 HPC生態圈中,包括伺服器、儲存、軟體、應用及維修服務等市場,如何規劃並調校出高效能的底層運算系統,則需要多年網路架構規劃的經驗。
第四步:資料視覺化
前述運算的結果必須使用簡明易懂的圖表來表達,以便使用者能快速理解運算結果的意義。在各個產業中,針對高效能運算的運用及解決問題的層次,相去甚遠,因此,實際解決問題或操作的人員更是大不相同,滿足各領域專家或研究員的需求,以及易讀好懂的視覺化結果輸出,在分秒必爭的環境下,更突顯其重要性。
第五步:資料解讀與模型再優化
當前述運算的結果,由專業人員進行解讀後,在實務上往往必須經過多次以及頻繁的修正,很少有機會經過一次的計算就能得到正確模型的情況,而這反覆修正所耗費的時間,往往比預期的大出好多倍,最終才能確認模型收斂。
科學運算的現狀與需求
上述的五個步驟無可避免的需要許多的軟硬體工具才能達成,以上述兩點而言,市面上有許多現成的軟體工具,免費或公共授權的軟體工具更是百花齊放。另一方面,Dell、HP等硬體廠商都有提供平行運算的硬體解決方案,各種平台層的軟體工具如RedHat、Apache Hadoop等也十分容易取得,甚至Google、Amazon、 Microsoft等公司還提供公有雲的解決方案。
看起來科學運算在各領域應該都很容易上手,但實務上卻並不然,原因在於這些軟硬體工具都是由不同的機構發展的,各機構專注在其發展的單一層面,例如上層的軟體、中層的平台或底層的硬體,但真正在實務上的使用,卻是要貫穿各系統層,從下而上垂直整合的整體解決方案,才能完成一個實務上的科學運算工作。
依照現況來看,這需要成立一個專門的IT團隊,將上中下層連接起來,並且調效到沒有漏洞且能順暢執行多工運算的情況,才能夠開始執行科學運算工作,這阻礙了許多非資訊領域的各行各業運用科學運算解決實務問題的需求。
傳統的HPC架構無法達成異質系統整合,並透過單一平台控制容器化技術,虛擬機及實體機等。
實務上面臨的問題,以大型教學醫院為例,在龐大的組織運作時,不論是縱向或是橫向的任務編制,每個部門或組織都會規劃許多流程來完成各個團隊的各項任務或指派,但每項任務往往有許多工作事項具有相依性,以及資源分配的問題。高效能運算的運算力,在智慧醫療產業上,即可針對此項問題進行優化。
將科學運算實現智慧醫療,並導入大型教學醫院
舉例而言,為了提昇效率以及最佳化資源應用,可以利用流程建模以及最佳化的模擬工具來提高組織運作效率與營運成本。以在醫院中最需要人力與即時性的ICU為例,第一步分析從病患進ICU開始的流程細節,解構成工作流程以及對應的人力、時間、器材與各項工作的相依性。第二步再對流程進行最佳化分析,使用HPC上的AI演算法與各種統計分析來最佳化流程與人力配置。最後,則可根據模擬與實際執行結果的迭代分析,協助解決ICU護理師的負擔,提高工作的正確性並節省更多時間用於照顧病患,此案例是將流程作業看似質化的問題,轉化成科學運算可以服務的項目。
基因定序與高效能運算
所謂科學研究,是數據在基因定序與HPC上經過一連串的程式流程處理來達成的。流程裡包括數據過濾、資料探勘、大數據分析、分析建模、數值模擬、機器學習與AI運算等。每項研究計畫中都需要測試各種流程,包含不同程式執行的組合與各種對應參數的搜尋,最後來找出最適合研究題目的程式流程與參數。
因COVID-19疫情升溫,基因定序分析的應用日益升高,以其為例:目前在基因定序分析時所使用的運算流程與程式眾多,為確保運算流程對於研究題目的準確度與再現性等指標合乎預期,針對其應用目的進而開發出合適的運算流程是當今的熱門課題。除此之外,鑑於當前的研究主題的規模日益龐大,更需要有跨組織、跨地區、跨國家的研究團隊一同研究,團隊成員間的協作也將會是研究成功的要素之一。
根據長期觀察各國實驗室的研究顯示,如何在實務方面滿足以下的四點需求,為達成加速基因定序分析的關鍵:
一、如何讓不同團隊共同分享研究成果
二、如何快速的建構運算流程與設定最佳化參數
三、如何再利用之前的研究成果
四、如何滿足實驗室ISO國際標準要求
GARAOTUS提供一個友善的圖形化科學運算及管理平台「CRONUS」,並架構在底層高速運算(HPC)的整體解決方案,用以加速科學研究的分析。這包括提供快速建構分析流程、彈性程式版本控管、分析流程的繼承與分享、參數的最佳化與結果比較、原始資料與資料庫的單一引用確認、研究小組的協同作業與資料共享、分析結果的可回溯性與再利用。值天氣預測(numerical weather prediction;NWP),根據設計好的大氣數學模型,搭配當下的天氣與地理資訊,透過科學運算取得天氣預報。常用模型如Weather Research and Forecasting(WRF),此預報系統分成兩個核心:資料同化系統(data assimilation system)與支援平行化運算與額外拓展的軟體架構。首先將當下實際觀測到的大氣狀態從外部匯入後,先使用WPS(WRF Pre-Processing System)處理成WRF可處理的輸入狀態,再用WRF選用不同的數學模型作模擬計算,最終輸出各種天氣預測圖表。
GARAOTUS提供一個友善的圖形化科學運算及管理平台「CRONUS」,並架構在底層HPC的整體解決方案,用以加速科學研究的分析。
高效能運算方案為各領域加速解決問題
在氣候變遷及地球暖化的議題上,科學家已利用HPC進行數值天氣預測(numerical weather prediction;NWP),根據設計好的大氣數學模型,搭配當下的天氣與地理資訊,透過科學運算取得天氣預報。常用模型如Weather Research and Forecasting(WRF),此預報系統分成兩個核心:資料同化系統(data assimilation system)與支援平行化運算與額外拓展的軟體架構。首先將當下實際觀測到的大氣狀態從外部匯入後,先使用WPS(WRF Pre-Processing System)處理成WRF可處理的輸入狀態,再用WRF選用不同的數學模型作模擬計算,最終輸出各種天氣預測圖表。
在預報的工作流程中,有許多模型甚至是不同的版本可以選用,也有許多相關的參數需要調整,過往的研究人員需要花費大量精力在調配運算、儲存與網路資源。因此,圖形化的工作流程與結果管理,再加上運算資源自動的分配與調教,大幅協助研究人員將時間及精力專注在解決科學問題上,有效提高研究與資源調用的效率。
另外,在分子模擬(molecular simulations)的運用上,包括半導體產業,甚至如電動車,都有分子模擬的應用,這包括物理化學和統計力學理論,並使用電腦計算來達成驗證實驗或預測分子的微觀或巨觀特性。常見的計算化學方法,包括量子化學計算、分子動態模擬(molecular dynamics simulation;MD)及蒙地卡羅(Monte Carlo;MC)模擬等。進行分子模擬也是需要一系列相關軟體的搭配、從分子初始態的建立到模擬系統的設定,接著是巨量計算的模擬過程,並最終選用一系列不同的分析取得相關分析結果。整套工作流程除了巨量的運算外,還涉及許多軟體版本的選用與參數的調整。
總結而言,各項領域的專家,在實務上進行模擬或研究推導求解的過程當中,科學運算以及技術的相依性,隨著基礎科學及網路系統等技術的進步,更是缺一不可,更甚至如何體現更優勢的運算力,將可引導出各產業的創新力,而如何將HPC落實於各產業,端看如何將看似遙不可及的超級電腦,轉化成如家用電腦般更為貼近各領域的專家及使用者,如何讓它安裝簡單、具有彈性計價模式、視覺化的圖表及使用者介面、能滿足跨組織的整合協作,且具有高度的網路資訊安全設計,將能縮短各產業與HPC應用的距離。(GARAOTUS為精誠資訊旗下HPC技術解決方案供應商)