Penguin Solutions 凭借其在解决大规模人工智能领域最严峻的基础设施挑战——内存问题——方面的创新方案，在人工智能大奖赛（The AI Awards）中给评委留下了深刻印象。MemoryAI KV Cache Server 在降低延迟、提升吞吐量和能源效率方面表现卓越，助力企业更高效地利用现有 GPU 资源。
产品 > MemoryAI™ KV 缓存服务器
突破记忆墙。释放更高水平的 AI 推理。
使用 Penguin Solutions 的大内存服务器设备加速您的 AI 应用并高效扩展。
为何选择大内存服务器
部署充足的内存以解锁 AI 性能
用于推理的 AI 系统性能从根本上受内存的限制。
随着 AI 模型复杂性的增加以及组织部署企业级推理，集群面临 “内存墙”，即当前内存容量和带宽的限制，这限制了 GPU 性能并大大增加了延迟。
Penguin Solutions利用30年的高级内存经验，通过基于CXL的突破性内存服务器来解决这个问题，该服务器支持大型共享系统内存池。这种分解使 GPU 摆脱了当前的内存限制，可以在需要时为每个节点提供所需的内容，并为集群架构提供了新的灵活性和效率。
通过部署充足的高性能内存，您可以最大限度地利用现有 GPU 投资，并高效地扩展新的 AI 基础架构，用于企业规模的生产推理。
创建池内存，供共享系统使用
所有节点均可访问分解内存，从而实现高效的资源利用并支持内存密集型 AI 工作负载。
满足推理延迟 SLA
提供稳定的低延迟性能，以支持苛刻的实时 AI 推理需求。
优化集群性能
通过平衡的内存架构和减少计算瓶颈，最大限度地提高吞吐量和可扩展性。
大内存服务器的核心优势
Penguin Solutions MemoryAI™ KV 缓存服务器：重新定义 AI 推理速度与可扩展性
Penguin Solutions 正在申请专利的 MemoryAI KV 缓存服务器是业界首款生产就绪型 KV 缓存服务器，它利用 CXL 内存 提供专为解决“内存墙”问题而构建的高容量内存设备，支持大规模高性能推理。
MemoryAI KV 缓存服务器通过存储和重用已计算的键/值 (KV) 对，将 KV 缓存从 GPU 内存中卸载。该解决方案消除了内存限制，缩短了首字延迟 (TTFT)，并解决了重复计算的难题，从而为要求严苛的 AI 推理工作负载提供卓越的性能。
它旨在扩展 GPU 可访问的本地 RAM，缓解内存瓶颈，使企业能够充分利用现有的 GPU 投资，或设计针对高吞吐量推理优化的集群。
随着模型、上下文窗口和并发需求的增长，对于希望在 AI 驱动的环境中满足严格延迟和性能预期的企业而言，KV 缓存服务器至关重要。
突破内存壁垒
将 KV 缓存卸载到专用的高容量 CXL 服务器，消除 AI 推理的内存瓶颈。
加速 AI 处理
通过智能 KV 缓存重用，显著降低延迟并提高吞吐量。
无限扩展
部署总内存高达 11 TB 的系统，其中包括 8 TB 的先进 DDR5 CXL 内存。
释放 GPU 效率
防止计算资源闲置。
请求回电
与 Penguin Solutions 的 CXL 专家交谈
立即联系我们，详细了解我们如何帮助您实现 AI 和 HPC 基础设施项目目标。我们的团队设计、构建、部署和管理高性能、高可用性的企业解决方案，使客户能够实现突破性创新。