Penguin Solutions 憑藉其在解決大規模 AI 基礎設施關鍵挑戰——記憶體問題上的創新方案，在 The AI Awards 中令評審印象深刻。MemoryAI KV Cache Server 不僅在延遲、吞吐量和能源效率方面帶來了顯著提升，更協助企業能更有效地運用現有的 GPU 資源。
產品 > 記憶體 YAI™ KV 快取伺服器
突破記憶牆。釋放新層次的 AI 推論。
使用 Penguin Solutions 的大型記憶體伺服器設備，加速您的 AI 應用程式並有效率地擴充。
為何選擇大記憶體伺服器
部署豐富的記憶體以解鎖 AI 效能
推論的 AI 系統效能基本上受到記憶體限制。
隨著 AI 模型的複雜性增加，並且組織部署企業規模推論，叢集面臨「記憶體牆」— 目前記憶體容量和頻寬的限制，這會限制 GPU 效能並大幅增加延遲。
Penguin Solutions 利用 30 年的進階記憶體經驗，利用突破性的 CXL 記憶體伺服器來解決這個問題，這些伺服器可提供大量共用系統記憶體集區。這種分類可將 GPU 免除目前的記憶體限制，讓每個節點在需要時提供所需的內容，並為叢集架構提供全新的彈性和效率。
透過部署豐富的高效能記憶體，您可以最大限度地發揮現有的 GPU 投資，並有效率地擴充新的 AI 基礎架構，以實現企業規模的生產推論。
建立共用系統使用的集合記憶體
所有節點都可以存取分類記憶體，從而實現高效率的資源利用，並支援密集記憶體的 AI 工作負載。
符合推論延遲 SLA
提供一致的低延遲效能，以支援嚴苛的即時 AI 推論需求。
優化叢集效能
透過平衡的記憶體架構，並減少運算瓶頸，最大限度地提高輸送量和擴充能力。
大記憶體伺服器的主要優勢
Penguin Solutions MemoryAI™ KV 快取伺服器：重新定義 AI 推論速度與擴充性
Penguin Solutions 正在申請專利的 MemoryAI KV 快取伺服器是業界首款可投入生產的 KV 快取伺服器，它利用 CXL 記憶體 提供高容量記憶體設備，專為解決記憶體牆問題並支援大規模高效能推論而設計。
MemoryAI KV 快取伺服器透過儲存並重複使用已計算的鍵/值 (KV) 配對，將 KV 快取從 GPU 記憶體中卸載。此解決方案消除了記憶體限制，縮短了首字元延遲 (TTFT)，並解決了重複計算的挑戰，從而為要求嚴苛的 AI 推論工作負載提供卓越的效能。
它旨在擴充 GPU 可存取的本機 RAM，減輕記憶體瓶頸，並讓企業能夠充分利用現有的 GPU 投資，或設計針對高傳輸量推論進行最佳化的叢集。
隨著模型、上下文視窗和並發需求的成長，對於希望在 AI 驅動環境中滿足嚴格延遲與效能預期的企業而言，KV 快取伺服器至關重要。
突破記憶體限制
將 KV 快取卸載至專用的高容量 CXL 伺服器，消除 AI 推論的記憶體瓶頸。
加速 AI 處理
透過智慧型 KV 快取重複使用技術，顯著降低延遲並提升傳輸量。
無限擴充
部署總容量高達 11 TB 的記憶體，其中包括 8 TB 的先進 DDR5 CXL 記憶體。
釋放 GPU 效能
防止運算閒置。
請求回撥
與企鵝解決方案的 CXL 專家交談
立即與我們聯繫，了解更多我們如何協助您實現 AI 和 HPC 基礎設施專案目標。我們的團隊設計、建置、部署和管理高效能、高可用性的企業解決方案，使客戶能夠實現突破性的創新。