Dongcha Beating AI News, Prime Intellect lance Prime Inference, un service d'inférence de modèles open source.
Les utilisateurs peuvent appeler directement le modèle à la demande ; si la tâche nécessite un fonctionnement stable à long terme, une partie de la puissance de calcul d'inférence peut également être verrouillée à l'avance. L'interface est compatible avec l'API OpenAI et le premier modèle déployé publiquement est GLM-5.3.
Ce système a déjà été utilisé au sein de Prime Intellect. Officiellement, il traite chaque jour près de 1 000 milliards de jetons pour l’apprentissage par renforcement, les données synthétiques, l’évaluation de modèles et les agents de codage. Prime Intellect effectue également des déploiements à grande échelle pour ses clients depuis janvier de cette année.
Prime Inference se concentre sur l'optimisation de la longue charge de contexte de l'agent. Il distribue un traitement de texte rapide et une génération de réponses sur différents GPU, réduisant ainsi la latence entre les jetons p90 de près de 40 % lors du test. Prime Intellect compresse également le cache KV. Sous la même mémoire vidéo, le nombre de jetons pouvant être mis en cache par chaque décodeur passe de 1,09 million à 1,63 million, soit une augmentation d'environ 50 %.
Prime Intellect a déjà fourni une infrastructure de formation telle que l'apprentissage par renforcement, l'évaluation et le sandboxing. Après avoir ajouté le service d'inférence, il peut connecter la formation du modèle et le déploiement réel à la même plate-forme, et les données générées par l'opération réelle peuvent continuer à être utilisées pour la formation ultérieure.