人工智慧 (AI) 工作負載正以驚人的速度發展，對傳統運算基礎架構造成了前所未有的壓力。核心挑戰在於 現代 AI 龐大的記憶體佔用空間與對數據的極高需求。傳統互連技術造成了效能瓶頸，限制了處理器存取所需海量數據的效率。
Compute Express Link (CXL) 已成為一種變革性的解決方案。這是一項開放式產業互連標準，旨在彌補這些效能差距，實現更高效的資源利用，並為下一代 AI 系統鋪路。
是什麼瓶頸阻礙了現代 AI 的發展？
現今的 AI 與機器學習工作負載帶來了 獨特的基礎架構挑戰 ，這些挑戰凸顯了傳統孤島式架構的侷限性。
這些問題直接影響了效能、擴充性與成本；基礎架構挑戰包括：
- 龐大的記憶體佔用空間： 大規模模型的訓練與推論需要數 TB 的記憶體，往往超過單一伺服器節點所能提供的容量。
- 數據傳輸延遲： CPU、GPU 與專用 AI 加速器必須協同運作，但它們之間的數據傳輸瓶頸會導致延遲，進而拖累整體效能。
- 資源效率低落： 孤島式架構經常導致資源閒置。伺服器可能因為缺乏足夠的記憶體來執行特定任務，導致運算核心未被充分利用，反之亦然，進而造成投資報酬率不佳。
- 儲存整合延遲： 高速儲存裝置需要作為擴充記憶體層級來存取，但在儲存裝置與系統記憶體之間移動大型數據集與模型檢查點，仍然是一個緩慢的過程。
傳統基於 PCIe 的架構由於缺乏記憶體一致性且延遲較高，無法完全解決這些問題。 CXL 的開發正是為了專門解決這些缺陷。
什麼是 Compute Express Link？
CXL 是一種基於 PCIe 實體層的高速、快取一致性互連協定。雖然它使用相同的實體連接，但它是專為異質運算需求所設計。它提供了一個統一的介面，讓 CPU、GPU、加速器和記憶體裝置能夠高效且一致地共享記憶體。
其核心功能透過三種不同的協定實現：
- CXL.io： 此協定處理標準 I/O 通訊、裝置探索與配置，運作方式與我們熟悉的 PCIe 標準非常相似。
- CXL.cache： 此協定允許連接的裝置（例如 AI 加速器）一致地快取主機 CPU 的記憶體。這確保了整個系統的資料一致性，無需複雜的軟體管理。
- CXL.mem： 此協定使主機 CPU 能夠存取實體連接至外部裝置的記憶體，並將其視為自身記憶體空間的一部分。
這些 協定共同構成了一個強大且靈活的架構，用於建構可組合、解構式及以記憶體為中心的系統。
CXL 如何改變 AI 基礎架構？
透過打破運算、記憶體與周邊裝置之間的僵化藩籬，CXL 為建構與管理 AI 工作負載系統提供了一種更具動態且強大的方法。
1. 記憶體池化與擴充 AI
訓練任務常因單一節點記憶體不足而失敗，但 CXL 透過以下方式解決了此問題： 讓記憶體能夠在不同裝置間進行池化與共享。它允許建立大型記憶體池，並根據需求動態分配給不同的處理器或加速器。此外，它還能讓 CPU 和 GPU 共享單一的統一記憶體池，無需進行冗餘的資料複製。這種方法減少了閒置記憶體，並透過提升資源利用率，顯著降低了總體擁有成本 (TCO)。
2. 分層記憶體以實現最佳效能
AI 系統受益於高頻寬 DRAM（效能導向）與更具成本效益的記憶體層（容量導向）之結合。CXL 透過將快速 DRAM 作為效能關鍵操作的主要層級，並連接基於 CXL 的記憶體擴充器作為低成本、高容量的次要層級，使這種架構變得無縫銜接。這有助於在不同層級間進行流暢的資料遷移，以平衡速度、容量與成本效益。
3. 實現可組合式解構基礎架構 (CDI)
CXL 是可組合系統的基礎技術，能將運算、記憶體和儲存資源解構，並根據特定工作負載的需求隨需配置。這讓您能靈活分配執行特定任務所需的精確加速與記憶體資源，並為 AI 推論叢集動態擴充記憶體，無需過度配置硬體。最終打造出更靈活、反應更迅速的資料中心 CDI，以適應不斷變化的應用需求。
CXL 對 AI 的策略優勢為何？
採用 CXL 能為建構或部署 AI 系統的企業帶來實質效益。
- 效能擴充： 它能減少 CPU、GPU 與記憶體之間的關鍵瓶頸，釋放硬體的更高效能。
- 提升效率： 它能提高記憶體與運算資源的利用率，進而獲得更好的投資報酬率並降低營運成本。
- 增強擴充性： 它為支援具備數 TB 記憶體佔用空間的大規模 AI 訓練提供了明確路徑。
- 更高的靈活性： 它實現了能適應您工作負載的解構式基礎架構，而非讓工作負載去遷就架構。
- 未來保障： 它為邁向下一代、異質且針對 AI 優化的資料中心提供了標準化路徑。
產業快速採用與未來展望
在整個科技產業中，伺服器供應商、GPU 與加速器製造商以及各大雲端服務供應商，皆已將 CXL 納入其產品藍圖。同時，CXL 聯盟持續推動標準演進，透過 CXL 2.0 與 3.0 擴展功能，納入 Fabric 交換、增強型記憶體池化以及全域一致性，以支援規模更大、更複雜的運算環境。
總結來說，AI 需要我們從根本上改變電腦系統的架構方式。傳統的資源孤島模式已不足以應對需求。 CXL 為此轉型提供了關鍵骨幹，實現了下一代人工智慧所需的以記憶體為中心且可組合的架構。透過彌補當前基礎架構中的關鍵缺口，CXL 將成為未來運算的基石技術。
SMART Modular Technologies 透過整合式記憶體解決方案的設計、開發與先進封裝技術，協助全球客戶實現人工智慧 (AI) 與高效能運算 (HPC)。我們的產品組合涵蓋從現今的 尖端記憶體技術（如 CXL） 到標準與舊型 DRAM 及快閃記憶體儲存產品。三十多年來，我們持續提供標準型、強固型與客製化的記憶體及儲存解決方案，滿足高成長市場中各類應用需求。 立即聯絡我們以獲取更多資訊.
