Dongcha, AI News'i geride bırakarak Prime Intellect, açık kaynaklı bir model çıkarım hizmeti olan Prime Inference'ı piyasaya sürdü.
Kullanıcılar talep üzerine doğrudan modeli arayabilir; Görevin uzun vadeli istikrarlı bir çalışma gerektirmesi durumunda çıkarım hesaplama gücünün bir kısmı da önceden kilitlenebilir. Arayüz OpenAI API ile uyumludur ve halka açık olarak dağıtılan ilk model GLM-5.3'tür.
Bu sistem daha önce Prime Intellect'te kullanılmıştı. Resmi olarak takviyeli öğrenme, sentetik veriler, model değerlendirmesi ve kodlama aracıları için her gün yaklaşık 1 trilyon token işliyor. Prime Intellect ayrıca bu yılın Ocak ayından bu yana müşteriler için büyük ölçekli dağıtımlar yürütüyor.
Prime Inference, Agent'ın uzun bağlam yükünü optimize etmeye odaklanır. Hızlı kelime işlemeyi ve yanıt oluşturmayı farklı GPU'lara dağıtarak p90 belirteçler arası gecikmeyi testte yaklaşık %40 oranında azaltır. Prime Intellect ayrıca KV önbelleğini de sıkıştırır. Aynı video belleği altında, her bir kod çözücü tarafından önbelleğe alınabilen jeton sayısı, yaklaşık %50 artışla 1,09 milyondan 1,63 milyona çıkar.
Prime Intellect daha önce takviyeli öğrenme, değerlendirme ve korumalı alan oluşturma gibi eğitim altyapısını sağlıyordu. Çıkarım hizmetini ekledikten sonra, model eğitimini ve gerçek dağıtımı aynı platforma bağlayabilir ve gerçek operasyon tarafından oluşturulan veriler sonraki eğitim için kullanılmaya devam edebilir.