Dongcha schlägt AI News, Prime Intellect veröffentlicht Prime Inference, einen Open-Source-Modell-Inferenzdienst.
Benutzer können das Modell bei Bedarf direkt aufrufen; Wenn die Aufgabe einen langfristig stabilen Betrieb erfordert, kann ein Teil der Inferenzrechenleistung auch vorab gesperrt werden. Die Schnittstelle ist mit der OpenAI-API kompatibel und das erste öffentlich bereitgestellte Modell ist GLM-5.3.
Dieses System wurde bereits bei Prime Intellect verwendet. Offiziell verarbeitet es täglich fast 1 Billion Token für Reinforcement Learning, synthetische Daten, Modellbewertung und Codierungsagenten. Seit Januar dieses Jahres führt Prime Intellect auch groß angelegte Implementierungen für Kunden durch.
Prime Inference konzentriert sich auf die Optimierung der langen Kontextlast des Agenten. Es verteilt die schnelle Textverarbeitung und Antwortgenerierung auf verschiedene GPUs und reduziert so die p90-Inter-Token-Latenz im Test um fast 40 %. Prime Intellect komprimiert auch den KV-Cache. Bei gleichem Videospeicher erhöht sich die Anzahl der Token, die von jedem Decoder zwischengespeichert werden können, von 1,09 Millionen auf 1,63 Millionen, was einer Steigerung von etwa 50 % entspricht.
Prime Intellect hat bereits zuvor Schulungsinfrastrukturen wie Reinforcement Learning, Evaluation und Sandboxing bereitgestellt. Nach dem Hinzufügen des Inferenzdienstes können Modelltraining und tatsächliche Bereitstellung auf derselben Plattform verbunden werden, und die durch den tatsächlichen Betrieb generierten Daten können weiterhin für nachfolgendes Training verwendet werden.