Soluciones de memoria integrada para infraestructura de AI
Penguin Solutions ofrece expansión de memoria basada en CXL, módulos DRAM y almacenamiento flash para entornos con uso intensivo de datos donde los cuellos de botella en la capacidad, el ancho de banda y la latencia de la memoria pueden limitar el rendimiento de la AI.
Entrenar un modelo de AI y ejecutar inferencias a gran escala requiere mover volúmenes enormes de datos entre la computación y la memoria. Para un número creciente de implementaciones de AI, cuando la capacidad, el ancho de banda o la latencia no son suficientes, el tiempo de inactividad pronto se acumula en cada procesador del clúster. Pero el cuello de botella no son las GPU. Es la memoria y el almacenamiento que las alimentan.
Penguin Solutions resuelve este desafío con una cartera de memoria integrada diseñada para entornos de computación intensiva, que incluye: memoria basada en Compute Express Link® (CXL) para ampliar la capacidad mucho más allá de los límites de la memoria de servidor tradicional; módulos DRAM para ofrecer el rendimiento de alto ancho de banda y baja latencia que exigen las cargas de trabajo activas; y almacenamiento flash para proporcionar una base fiable y de alta capacidad para los flujos de datos que alimentan cada modelo. Juntas, estas soluciones de memoria brindan a las organizaciones la flexibilidad para escalar cada dimensión del rendimiento según la forma de la carga de trabajo.
Con Penguin Solutions, la infraestructura sigue el ritmo de la trayectoria de sus ambiciones de AI en lugar de limitarlas. A medida que las organizaciones llevan el modelado y la inferencia a nuevas alturas, Penguin Solutions proporciona la base de memoria y almacenamiento para llevar sus iniciativas de AI desde la fase piloto hasta la producción.
Memoria basada en CXL
Las soluciones de memoria CXL® permiten arquitecturas de memoria flexibles y ampliadas para entornos informáticos modernos. Al utilizar la tecnología CXL para ampliar las capacidades de memoria del sistema, las organizaciones pueden admitir cargas de trabajo más grandes, mejorar la eficiencia de los recursos y aprovechar diseños de infraestructura dinámicos.
Las soluciones basadas en CXL son especialmente adecuadas para el entrenamiento y la inferencia de AI, bases de datos en memoria y cargas de trabajo de análisis avanzado que requieren acceso a grandes volúmenes de memoria. También resuelven las estrategias de centros de datos centradas en la memoria que evolucionan hacia la componibilidad y la asignación escalable de recursos en sistemas distribuidos.
Para la inferencia de AI a escala, la memoria CXL puede descargar la caché de clave-valor (KV) de la memoria de la GPU a un dispositivo dedicado de alta capacidad, lo que reduce el tiempo hasta el primer token (TTFT) y libera a las GPU de los cuellos de botella de memoria. El MemoryAI™ KV Cache Server de Penguin Solutions lleva esta arquitectura a la producción con memoria agrupada accesible en todo el clúster.
Módulos DRAM
Los módulos DRAM proporcionan memoria de sistema de alta velocidad y baja latencia para cargas de trabajo de procesamiento activo en servidores empresariales y sistemas de High-Performance Computing (HPC). Al instalarse directamente en los canales de memoria del servidor, la DRAM permite un acceso rápido a los datos para las unidades centrales de procesamiento (CPU) y los aceleradores que ejecutan tareas de computación intensiva.
Estos módulos de memoria se utilizan ampliamente en el entrenamiento de modelos de AI, virtualización, computación científica y aplicaciones empresariales transaccionales donde la disponibilidad constante y la capacidad de respuesta son esenciales para la ejecución de las cargas de trabajo.
Diseñada para soportar los entornos informáticos más exigentes, la DRAM de Penguin Solutions ofrece la fiabilidad y el rendimiento que requiere la AI a escala de producción.
Almacenamiento flash
Las soluciones de almacenamiento flash ofrecen almacenamiento de datos no volátil y de alta capacidad para entornos empresariales y de computación intensiva. Gracias a la tecnología de unidades de estado sólido (SSD), permiten una recuperación rápida de datos y una retención fiable a largo plazo en una amplia gama de aplicaciones.
El almacenamiento flash se utiliza a menudo para canalizaciones de datos de AI, análisis a gran escala, alojamiento de aplicaciones y bases de datos empresariales. Estas soluciones de almacenamiento permiten a las organizaciones gestionar volúmenes de datos crecientes de manera eficiente, manteniendo un alto rendimiento y fiabilidad en cargas de trabajo críticas.
Probado en almacenamiento seguro y resistente para defensa y aeroespacial, el almacenamiento flash de Penguin Solutions aporta ese mismo nivel de durabilidad y fiabilidad a las exigencias de las cargas de trabajo de AI de su organización a escala.
Hable con los expertos de Penguin Solutions
Penguin Solutions impulsa entornos modernos de AI, HPC y empresariales con memoria y almacenamiento diseñados para escalar, liderados por memoria basada en CXL que supera los límites de capacidad y hace posibles las cargas de trabajo de AI más exigentes.