Компания Dongcha, обойдя AI News, Prime Intellect выпускает Prime Inference, сервис вывода моделей с открытым исходным кодом.
Пользователи могут напрямую вызывать модель по требованию; если задача требует длительной стабильной работы, часть вычислительной мощности вывода также можно заблокировать заранее. Интерфейс совместим с API OpenAI, а первой публично развернутой моделью является GLM-5.3.
Ранее данная система использовалась в компании «Прайм Интеллект». Официально он ежедневно обрабатывает около 1 триллиона токенов для обучения с подкреплением, синтетических данных, оценки моделей и агентов кодирования. Прайм-Интеллект также проводит масштабные развертывания для клиентов с января этого года.
Prime Inference фокусируется на оптимизации длительной контекстной загрузки агента. Он распределяет оперативную обработку текста и генерацию ответов на разные графические процессоры, сокращая задержку между токенами p90 почти на 40 % в тесте. Прайм-Интеллект также сжимает кэш KV. При той же видеопамяти количество токенов, которые может кэшировать каждый декодер, увеличивается с 1,09 миллиона до 1,63 миллиона, то есть увеличение примерно на 50%.
Компания «Прайм-Интеллект» ранее предоставляла инфраструктуру обучения, такую как обучение с подкреплением, оценку и «песочницу». После добавления службы вывода она может соединить обучение модели и фактическое развертывание с одной и той же платформой, а данные, сгенерированные в ходе реальной работы, можно будет продолжать использовать для последующего обучения.