Dongcha Beating AI News, Prime Intellect lanza Prime Inference, un servicio de inferencia de modelos de código abierto.
Los usuarios pueden llamar directamente al modelo a pedido; si la tarea requiere un funcionamiento estable a largo plazo, una parte de la potencia informática de inferencia también se puede bloquear de antemano. La interfaz es compatible con la API OpenAI y el primer modelo implementado públicamente es GLM-5.3.
Este sistema se ha utilizado anteriormente en Prime Intellect. Oficialmente, procesa casi 1 billón de tokens todos los días para aprendizaje reforzado, datos sintéticos, evaluación de modelos y agentes de codificación. Prime Intellect también ha estado ejecutando implementaciones a gran escala para clientes desde enero de este año.
Prime Inference se centra en optimizar la carga de contexto larga de Agent. Distribuye procesamiento de textos rápido y generación de respuestas en diferentes GPU, lo que reduce la latencia entre tokens p90 en casi un 40 % en la prueba. Prime Intellect también comprime el caché KV. Bajo la misma memoria de video, la cantidad de tokens que cada decodificador puede almacenar en caché aumenta de 1,09 millones a 1,63 millones, un aumento de aproximadamente el 50%.
Prime Intellect ha proporcionado anteriormente infraestructura de capacitación, como aprendizaje por refuerzo, evaluación y sandboxing. Después de agregar el servicio de inferencia, puede conectar el entrenamiento del modelo y la implementación real a la misma plataforma, y los datos generados por la operación real pueden continuar utilizándose para el entrenamiento posterior.