Servidores de memoria de gran tamaño diseñados para la inferencia de IA en tiempo real
Cuando un gran número de usuarios y conjuntos de datos participan en el entrenamiento de modelos de IA y en la inferencia de IA, surge una métrica clara: la capacidad de memoria.
La gran cantidad de memoria local marca la diferencia en el rendimiento
Al intentar aumentar el tamaño de una base de datos en memoria, la respuesta (una vez que se ha alcanzado el máximo de memoria de una sola CPU) siempre ha sido agregar más CPU y memoria.
Esta solución es problemática, ya que tan pronto como las cargas de trabajo se desbordan en varios servidores, la latencia de la red y la sobrecarga del flujo de trabajo comienzan a degradar rápidamente la respuesta del acceso a los datos y el rendimiento de la comunicación de las aplicaciones.
Sin embargo, cuanto mayor sea la memoria de un único servidor que ejecute la base de datos, menor será la probabilidad de que se produzcan retrasos en la red. Ingresa Compute Express Link® (CXL®).
A partir de PCIe Gen 5, la capa de protocolo de expansión de memoria está estrechamente relacionada con la arquitectura de memoria de la CPU, lo que permite agregar módulos de memoria o memoria adicionales a un servidor estándar de uno o dos sockets.
CXL es diseñado para resolver el problema de capacidad de memoria dentro de un único servidor al permitir añadir memoria adicional a través del bus de E/S periférico de la CPU, lo que resuelve sus necesidades de recuperación y procesamiento de grandes cantidades de memoria mediante análisis de datos en tiempo real.
Rendimiento y consistencia
La adición de espacio de memoria evita el desbordamiento hacia el almacenamiento persistente
Menores costos de memoria
Utilice módulos DIMM de 96 GB o 128 GB de menor coste por bit frente a DIMM de 256 GB
Reducción de latencia
Latencias de nivel de milisegundos cuando se implementa con dBase rápido y en tiempo real
Ingiera datos en tiempo real
Utilice los datos más actuales al tomar decisiones clave en la inferencia de IA
Hable con los expertos en CXL de Penguin Solutions
Póngase en contacto hoy mismo y obtenga más información sobre cómo lo ayudamos a alcanzar los objetivos de su proyecto de infraestructura de IA y HPC. Nuestro equipo diseña, construye, implementa y administra soluciones empresariales de alto rendimiento y alta disponibilidad, lo que permite a los clientes lograr sus innovaciones revolucionarias.