擴展AI運算:靈活的伺服器架構,因應不斷演進的AI工作負載

前言
AI工作負載持續攀升,帶動市場對高效能運算、記憶體及系統連接能力的需求呈指數級成長。為滿足這些需求,企業需要具備擴展能力的伺服器架構,在資源利用率、部署彈性與總體擁有成本(TCO)之間取得平衡。
AEWIN透過模組化設計與可配置的硬體架構,提供支援多維度擴展策略的伺服器解決方案,協助客戶靈活調整AI基礎架構,以因應不斷變化的工作負載需求。
AI 擴展策略
從伺服器層級來看,AI基礎架構可透過不同維度進行擴展,從最佳化單台伺服器的配置、提升單一系統的運算資源,到串接多台伺服器以建構更大規模的叢集。
以下比較三種核心擴展策略:Scale In、Scale Up與Scale Out。
| 擴展策略 | 主要目標 | 關鍵考量 |
|---|---|---|
| Scale In(伺服器內部資源最佳化) | 最佳化單台伺服器內部的資源配置 | 元件整合、依工作負載需求配置、總體擁有成本(TCO)最佳化 |
| Scale Up(垂直擴展) | 提升單台伺服器的運算能力 | CPU與記憶體擴充、透過PCIe擴充GPU、CXL記憶體擴充 |
| Scale Out(水平擴展) | 透過多台伺服器與機櫃擴大叢集規模 | 高速網路介面卡(NIC,OCP 3.0/PCIe)、節點間互連、機櫃級整合 |
Scale In:最佳化高密度伺服器設計
Scale In著重於最佳化伺服器內部的資源配置與元件密度。透過依據實際工作負載需求,妥善配置 CPU、記憶體、儲存裝置及豐富的I/O介面,企業能充分發揮單台伺服器的效能,加速系統部署。
此外,採用模組化架構有助於簡化系統整合流程,降低整體建置與維運成本,進一步最佳化總體擁有成本(TCO)。
Scale Up:最大化單機運算能力
Scale Up透過垂直擴充提升單台伺服器的處理能力與資料吞吐量,以因應高強度的運算工作負載。依據不同平台的設計,可透過升級至更高階的CPU型號、增加GPU加速器、導入高速記憶體技術(包括 CXL 3.0),以及採用超高速連接技術,滿足高效能AI應用的需求。
Scale Out:擴展多伺服器叢集
Scale Out 透過高速網路連接多個伺服器節點,以水平擴展的方式提升整體運算能力。高吞吐量的網路介面卡(NIC)與先進交換器,能促進不同節點及機櫃之間的高效通訊,支援大規模 AI 叢集的運作。
隨著部署規模持續擴大,網路頻寬、傳輸延遲及流量管理也成為維持整體系統效能的重要考量。
AEWIN助力AI基礎架構擴展
透過靈活的模組化設計實現 Scale In
AEWIN採用符合OCP DC-MHS架構設計理念的模組化伺服器設計,提供靈活的配置選項,加速客製化開發並簡化部署流程。透過在設計初期即納入不同的配置需求,AEWIN協助客戶依據目標工作負載量身打造平台,同時提升資源利用效率。
透過可配置硬體實現 Scale Up
AEWIN伺服器提供靈活的運算配置,支援多種CPU型號、記憶體插槽配置,以及可用於GPU與其他加速器的PCIe擴充插槽。此外,支援CXL 3.0的平台可進一步擴充記憶體容量,滿足更高的容量需求。
這些硬體配置能力讓客戶能依據關鍵資料處理、AI推論及模型訓練等應用需求,建構具備擴展彈性的硬體解決方案。
透過高速連接實現 Scale Out
AEWIN伺服器支援高速網路介面卡,可作為建構大型AI部署環境的運算基礎。結合佳世達集團生態系的先進技術,AEWIN伺服器可整合先進的1.6T交換器與雙相直接液冷(2P DLC)解決方案,提升散熱管理效率,打造適用於高密度運算的機櫃級AI基礎架構,兼顧效能與永續發展需求。
總結
Scale In、Scale Up與Scale Out分別從伺服器配置、單機運算能力及叢集連接等不同面向,滿足AI基礎架構的擴展需求。
憑藉靈活的伺服器架構與佳世達集團生態系的技術整合能力,AEWIN協助客戶依據不斷演進的工作負載需求,彈性擴展AI運算資源,在運算效能、部署彈性與總體擁有成本(TCO)之間取得最佳平衡。

