기억의 벽을 뚫으세요.차세대 AI 추론을 활용하세요.
Penguin Solutions의 대용량 메모리 서버 어플라이언스로 AI 애플리케이션을 가속화하고 효율적으로 확장하세요.
풍부한 메모리를 배포하여 AI 성능 극대화
추론을 위한 AI 시스템 성능은 근본적으로 메모리에 의해 제한됩니다.
AI 모델의 복잡성이 증가하고 조직이 엔터프라이즈 규모의 추론을 배포함에 따라 클러스터는 현재 메모리 용량과 대역폭의 한계인 “메모리 벽”에 직면하게 되며, 이로 인해 GPU 성능이 제한되고 지연 시간이 크게 늘어납니다.
Penguin Solutions는 고급 메모리 분야에서 쌓아온 30년의 경험을 활용하여 공유 시스템 메모리의 대규모 풀을 지원하는 혁신적인 CXL 기반 메모리 서버를 통해 이 문제를 해결합니다.이러한 분리 덕분에 GPU는 현재의 메모리 제한에서 벗어나 각 노드에 필요할 때 필요한 것을 제공하고 클러스터 아키텍처에 새로운 유연성과 효율성을 제공합니다.
풍부한 고성능 메모리를 배포하여 기존 GPU 투자를 극대화하고 엔터프라이즈 규모의 생산 추론을 위해 새로운 AI 인프라를 효율적으로 확장할 수 있습니다.
공유 시스템 사용을 위한 풀링된 메모리 생성
모든 노드에서 분리된 메모리에 액세스할 수 있어 효율적인 리소스 활용이 가능하고 메모리 집약적인 AI 워크로드를 지원합니다.
추론을 위한 지연 시간 SLA 충족
일관되고 지연 시간이 짧은 성능을 제공하여 까다로운 실시간 AI 추론 요구 사항을 지원합니다.
클러스터 성능 최적화
균형 잡힌 메모리 아키텍처와 컴퓨팅 병목 현상 감소로 처리량과 확장성을 극대화합니다.
Penguin Solutions MemoryAI™ KV 캐시 서버: AI 추론 속도 및 확장성의 재정의
Penguin Solutions의 특허 출원 중인 메모리AI KV 캐시 서버 (Altus® XE4318GT-KVC) 는 CXL 메모리를 활용하여 메모리 벽을 해결하고 대규모 고성능 추론을 지원하도록 특별히 설계된 대용량 메모리 어플라이언스를 제공하는 업계 최초의 KV 캐시 서버입니다.
MemoryAI KV 캐시 서버는 계산된 키/값 (KV) 쌍을 저장 및 재사용하여 GPU 메모리에서 KV 캐시를 오프로드하는 방식으로 작동합니다.이 솔루션은 메모리 제약을 없애고, TTFT (Time-to-First Token) 를 줄이고, 재계산 문제를 해결하여 까다로운 AI 추론 워크로드에서 우수한 성능을 제공합니다.
GPU에서 액세스할 수 있는 로컬 RAM을 확장하도록 설계되어 메모리 병목 현상이 완화되고 조직에서 기존 GPU 투자를 최대한 활용하거나 처리량이 많은 추론에 최적화된 클러스터를 설계할 수 있습니다.
모델, 컨텍스트 창 및 동시성 요구가 증가함에 따라 KV 캐시 서버는 AI 기반 환경에서 엄격한 지연 시간과 성능 기대치를 충족하려는 기업에 필수적입니다.
기억의 장벽을 허물다
KV 캐시를 전용 대용량 CXL 기반 서버로 오프로드하여 AI 추론 메모리 병목 현상을 제거합니다.
가속화된 AI 프로세싱
지능적인 KV 캐시 재사용을 통해 지연 시간을 크게 줄이고 처리량을 높입니다.
제한 없는 확장
8TB의 고급 DDR5 CXL 메모리를 포함하여 최대 11TB의 총 메모리로 배포할 수 있습니다.
GPU 효율성 극대화
컴퓨팅 유휴 시간을 방지하세요.
Penguin Solutions의 CXL 전문가와 상담하세요
지금 연락하셔서 AI 및 HPC 인프라 프로젝트 목표를 달성하는 데 당사가 어떻게 도움이 되는지 자세히 알아보십시오.우리 팀은 고성능, 고가용성 엔터프라이즈 솔루션을 설계, 구축, 배포하고 관리하여 고객이 획기적인 혁신을 달성할 수 있도록 지원합니다.