Oct 29
-
Oct 29
【AI基盤の本番運用】高価なGPUを、ムダにしないAIインフラとは
～稼働率50％台から90％台への改善事例に学ぶ、クラスタ運用とメモリー最適化～
本ウェビナーではAIクラスタの安定運用とパフォーマンス最適化を支援する「ClusterWareAI」に加え、AI推論時に処理を高速化するための一時データ「KVキャッシュ」を大容量メモリーへ移し、GPUメモリーの負荷を軽減する「MemoryAI KV Cache Server」をご紹介します。さらに、GPUの稼働率を50％台から90％台へ引き上げた過去の実績をもとに、インフラの設計・構築・運用で何に着目し、どのような改善を積み重ねたのかを事例とともに解説します。GPUサーバー、ストレージ、ネットワークから監視・保守まで、基盤全体を見据えた運用の考え方をお伝えします。
