メモリーの壁を突破する ー さらなる AI 推論のために

Penguin Solutionsが特許出願中のMemoryAI KVキャッシュサーバーは、業界初の商用対応KVキャッシュサーバーです。CXLメモリを活用することで、メモリの壁に対処し、大規模な高性能推論をサポートするために専用設計された大容量メモリ・アプライアンスを提供します。

MemoryAI KVキャッシュサーバーは、計算されたキー/バリュー（KV）ペアを保存・再利用し、GPUメモリからKVキャッシュをオフロードすることで機能します。このソリューションはメモリの制約を解消し、最初のトークンまでの時間（TTFT）を短縮するとともに、再計算の課題に対処し、要求の厳しいAI推論ワークロードにおいて優れたパフォーマンスを実現します。

GPUがアクセス可能なローカルRAMを拡張するように設計されており、メモリのボトルネックを緩和します。これにより、組織は既存のGPU投資を最大限に活用したり、高スループットの推論に最適化されたクラスターを設計したりすることが可能になります。

モデル、コンテキストウィンドウ、同時実行の要求が高まる中、AI主導の環境で厳格なレイテンシとパフォーマンスの期待に応えようとする企業にとって、KVキャッシュサーバーは不可欠な存在です。