メモリーの壁を突破する ー さらなる AI 推論のために
ペンギンソリューションズの大容量メモリサーバーアプライアンスで AI アプリケーションを高速化し、効率的なスケーリングを実現
豊富なメモリーをデプロイして AI パフォーマンスを引き出す
推論のためのAI システムのパフォーマンスは、基本的にメモリーの制約を受けます。
AI モデルの複雑さが増し、企業がエンタープライズ規模の推論を導入するにつれて、クラスターは「メモリウォール」に直面します。メモリ容量と帯域幅の現在の制限は、GPU のパフォーマンスを制約し、レイテンシーを大幅に増加させます。
ペンギンソリューションズは、高度なメモリにおける30年の経験を活かして、共有システムメモリーの大規模なプールを可能にする画期的なCXLベースのメモリーサーバーでこの問題を解決しています。このようにディスアグリゲート(分離)することで、GPUは現在のメモリー制限から解放され、各ノードが必要なものを必要なときに提供できるようになり、クラスターアーキテクチャーに新たな柔軟性と効率性がもたらされます。
豊富で高性能なメモリーを導入することで、既存の GPU への投資を最大限に活用し、新しい AI インフラストラクチャーをエンタープライズ規模のプロダクション推論用に効率的に拡張できます。
共有システム用のプールメモリーの作成
ディスアグリゲート(分離)されたメモリーはすべてのノードからアクセスできるため、リソースを効率的に利用でき、メモリーを大量に消費するAI ワークロードをサポートできます。
推論のためのレイテンシー SLA に対応
一貫性のある低レイテンシーのパフォーマンスを提供し、要求の厳しいリアルタイム AI 推論要件をサポートします。
クラスターのパフォーマンスを最適化
バランスの取れたメモリアーキテクチャとコンピューティングのボトルネックの軽減により、スループットとスケーラビリティを最大化します。
ペンギンソリューションズ MemoryAI™ KV キャッシュサーバー:AI 推論速度とスケーラビリティの再定義
ペンギンソリューションズの特許出願中のMemoryAI KVキャッシュサーバー（Altus® XE4318GT-KVC）は、CXL メモリーを活用してメモリウォールの課題に対処し、大規模で高性能な推論をサポートすることを目的に設計された大容量メモリーアプライアンスを提供する業界初のKVキャッシュサーバーです。
MemoryAI KV キャッシュサーバーは、計算されたキー/値 (KV) ペアを保存して再利用することで、GPU メモリーから KV キャッシュをオフロードします。このソリューションは、メモリー制約を排除し、TTFT（TTFT）を短縮し、再計算の課題に対処することで、要求の厳しいAI 推論ワークロードで優れたパフォーマンスを実現します。
GPUにアクセス可能なローカルRAMを拡張するように設計されているため、メモリーのボトルネックが軽減され、企業は既存のGPU投資を最大限に活用したり、高スループットの推論に最適化されたクラスターを設計したりできます。
モデル、コンテキストウィンドウ、同時実行の需要が高まるにつれて、AI 主導の環境で厳しいレイテンシーとパフォーマンスの期待に応えたい企業にとって、KVキャッシュサーバーは不可欠です。
メモリーの壁を打ち破る
KV キャッシュを専用の大容量 CXL ベースのサーバーにオフロードすることで、AI 推論メモリーのボトルネックを解消します。
アクセラレーテッド AI 処理
インテリジェントな KV キャッシュの再利用により、レイテンシーを大幅に削減し、スループットを向上させます。
制限のないスケーリング
最大 8 TB の高度な DDR5 CXL メモリーを含め、合計で最大 11 TB のメモリーを搭載できます。
GPU の効率性を引き出す
コンピューティングのアイドル時間を防ぎます。
ペンギンソリューションズの CXL エキスパートにご相談ください
お客様の AI と HPC インフラストラクチャプロジェクトの目標達成をご支援します。私たちのチームは、高性能で可用性の高いエンタープライズソリューションを設計、構築、導入、管理し、お客様が画期的なイノベーションを実現できるよう支援します。