메모리 병목을 해결하고 차세대 AI 추론 성능을 극대화하십시오.

Penguin Solutions의 특허 출원 중인 MemoryAI KV 캐시 서버는 CXL 메모리를 활용하는 업계 최초의 프로덕션급 KV 캐시 서버로, 메모리 장벽을 해결하고 대규모 고성능 추론을 지원하기 위해 특별히 설계된 고용량 메모리 어플라이언스입니다.

MemoryAI KV 캐시 서버는 계산된 키/값(KV) 쌍을 저장하고 재사용하여 GPU 메모리에서 KV 캐시를 오프로드하는 방식으로 작동합니다. 이 솔루션은 메모리 제약을 제거하고, 첫 토큰 생성 시간(TTFT)을 단축하며, 재계산 문제를 해결하여 까다로운 AI 추론 워크로드에서 탁월한 성능을 구현합니다.

GPU가 액세스할 수 있는 로컬 RAM을 확장하도록 설계되어 메모리 병목 현상을 완화하며, 기업이 기존 GPU 투자를 최대한 활용하거나 고처리량 추론에 최적화된 클러스터를 설계할 수 있도록 지원합니다.

모델, 컨텍스트 윈도우 및 동시성 요구 사항이 증가함에 따라, AI 기반 환경에서 엄격한 지연 시간 및 성능 기대치를 충족하려는 기업에게 KV 캐시 서버는 필수적입니다.