Kurumsal Yapay Zekada Maliyet Devrimi: TypeSafe'in Jev Modeli Metin Üretmeden Karar Veriyor

Kurumsal yazılımların içinde çalışan yapay zekanın büyük bir bölümü aslında hiçbir şey yazmıyor. Bir destek talebinin hangi kuyruğa gideceğine, bir işlemin şüpheli görünüp görünmediğine ya da hangi modelin bir isteği karşılaması gerektiğine karar veriyor. Ancak bu kararlar bugün çoğu sistemde hâlâ bir dil modelinin metin üretmesi ve ardından o metnin bir etikete dönüştürülmesiyle alınıyor. TypeSafe AI'ın geliştirdiği Jev modeli, 15 Eylül'de erken erişime açılarak bu döngüyü kırmayı amaçlıyor.

Jev Nedir ve Nasıl Çalışır?

Jev, sohbet etmiyor, uzun bir düşünce zinciri oluşturmuyor ve metin üretmiyor. Uygulama durumunu ve tiplendirilmiş soruları girdi olarak alıyor; karşılığında seçimler, puanlar ve olasılık değerleri eklenmiş evet/hayır yanıtları döndürüyor. TypeSafe'in açıkladığı verilere göre bu süreç genellikle 70 ila 500 milisaniye arasında tamamlanıyor ve maliyet milyon girdi token başına 0,042 dolar. Çıktı tokenları ise ücretsiz.

Modelin piyasaya çıkmasının ardından günler içinde Pydantic AI ve LangChain gibi ajan çerçevelerinden gözlemlenebilirlik platformlarına kadar pek çok entegrasyon geliştirildi. TypeSafe kayıt kuyruğunu geçici olarak durdurmak zorunda kaldı; birçok kullanıcı modele OpenRouter üzerinden erişmeye başladı. Aynı dönemde GitHub ve Hugging Face'te açık kaynaklı alternatifler belirmeye başladı.

Metin Üretimi Neden Karar Alma İçin Verimsiz?

Sohbet modelleri farklı bir iş için optimize edilmiştir. Ön eğitim onlara bir sonraki token'ı tahmin etmeyi öğretir; insan geri bildirimiyle pekiştirmeli öğrenme ise insanların tercih ettiği yanıtları üretmeyi. Her iki aşama da dizeler üretir. Oysa otomasyon sistemleri tiplendirilmiş değerlere, öngörülebilir gecikmeye, çağrı başına sabit maliyete ve doğruluğu kolayca ölçülebilen çıktılara ihtiyaç duyar.

Üretici bir modeli karar almak için kullanmak, token token kod çözme maliyeti anlamına gelir; ardından çıktıyı ayrıştırmak ve doğrulamak gerekir; modelin formattan sapması, yorum eklemesi ya da yanıt vermemesi gibi durumlarla başa çıkmak zorunlu hale gelir. Üretici modeller ayrıca ne kadar emin olduklarını söylemeleri istendiğinde genellikle zayıf kalibrasyon sergiler. Bu durum göründüğünden daha önemlidir: bir sistem ne zaman yanılıyor olabileceğini bilemiyorsa bir vakayı ne zaman insana devredeceğine de güvenilir biçimde karar veremez.

Ön Eğitim Kalitesi Sınıflandırmayı Yeniden Öne Çıkardı

Sınıflandırma her zaman karar alma için daha uygun bir yaklaşımsa neden şimdi geri dönüyor? Temel yanıt, ön eğitim kalitesindeki sıçramadır. 2019'da araştırmacılar sıfır atışlı sınıflandırmanın işe yarayabileceğini zaten göstermişti. Yin ve arkadaşları doğal dil çıkarım modellerini aday etiketleri bir girdiyle test etmek için yeniden kullandı; facebook/bart-large-mnli bu amaçla yaygın bir varsayılan haline geldi. Ancak bu modeller kendi eğitim alanları dışında kırılgandı.

BERT yaklaşık 3,3 milyar kelimeyle eğitilmişti. Aralık 2024'te yayımlanan ModernBERT ise 2 trilyon token ve 8.192 token bağlam penceresiyle eğitildi. Daha güçlü ön eğitimli modeller artık istek zamanında tanımlanan daha geniş bir sınıflandırma sorusu yelpazesini karşılayabiliyor ve her görev için ayrı model eğitme zorunluluğunu azaltıyor.

Açık Kaynak Alternatifler ve Sınırlar

Jev'in açık kaynak reproductionları bu ilerlemeyi somut biçimde ortaya koyuyor. SemIf hiç model eğitmiyor; olasılıkları doğrudan dondurulmuş bir Qwen3.5-4B'den okuyor. SemIf geliştiricileri 21 soru için yaklaşık bir saniye ölçtü; üretilen JSON'a karşı bu süre beş saniyenin üzerinde kalıyordu. İki yöntem 21 seçimden 18'inde aynı sonuca ulaştı. Laya ise 421 milyon parametreli ModernBERT-large omurgası üzerine inşa edilen bir karar modeli sunuyor ve Nvidia T4 üzerinde soru başına yaklaşık 33 ila 40 milisaniyede yanıt veriyor.

Ancak sınırlar da gerçek. Laya geliştiricileri temel kontrol noktalarının tiplendirilmiş karar kıyaslamalarında rastgele tahmine yakın puanlar aldığını, ince ayarın ardından sonuçların belirgin biçimde iyileştiğini bildiriyor. TypeSafe'in Jev hakkında açıkladıkları sınırlı: yeni bir mimari, paralel bir örnekleyici ve modeli ne sıklıkla doğru olduğuyla örtüşen olasılıklar döndürecek biçimde optimize ettiğini söylediği Kalibrasyon için Pekiştirmeli Öğrenme (RLCD) adlı bir eğitim yöntemi. Kalibrasyonu birincil eğitim hedefi yapmak TypeSafe'in temel iddiası.

LinkedIn ve Shopify Aynı Yolda

Jev, sınır kalitesinde ön eğitimi alıp ChatGPT öncesi derin öğrenme taktiklerini uygulayan daha geniş bir eğilimin en görünür örneği. LinkedIn'de ürün mühendisliği başkanı olarak bu çalışmayı yürüten ve şimdilerde CTO olan Erran Berger, ayrıntılı bir ürün politikası belgesi üzerinde 7 milyar parametreli bir öğretici modeli ince ayarlayarak önce 1,7 milyar parametreli bir ara modele, oradan da üretim trafiğini karşılayan 0,6 milyar parametreli bir öğrenci modele aktardıklarını anlattı. Berger, "Bunu yalnızca istemlemeyle yapabilmemiz hiçbir şekilde mümkün değildi" dedi.

Shopify ise bu fikri bir adım öteye taşıyarak Ar-Ge ekiplerinin bir sınır modelini tek bir alt görev için ince ayarlı açık bir modele yaklaşık bir günde damıtmasına olanak tanıyan dahili bir platform kurdu. Shopify'ın mühendislik başkanı ve VP'si Farhan Thawar, damıtılmış modellerin 2 ila 30 kat daha ucuz ve hızlı çalıştığını ve bazı dar görevlerde öğrendikleri sınır modeli geride bıraktığını söyledi.

Kurumsal Ekipler Ne Yapmalı?

Mevcut LLM trafiğinin denetlenmesi ilk adım olarak öne çıkıyor: çağrıların metin üretimi ve yönlendirme, önceliklendirme, etiketleme, onay ile puanlama gibi karar kategorilerine ayrılması gerekiyor. Geliştirici Flavio Copes'in hazırladığı çalışma örneğine göre ayda 10.000 dolar yapay zeka harcaması olan ve bunun 6.000 dolarını kararlar için kullanan bir şirket, bu kararları yüzde 5 maliyetli bir yola taşıdığında ayda 5.700 dolar tasarruf edebilir. Gerçek tasarruf, ne kadar harcamanın taşınabileceğine ve yerine geçen çözümün gerçek maliyetine bağlı.

Uyarılar da göz ardı edilemez. Jev erken erişim aşamasında, yalnızca metin kabul ediyor ve şu an yalnızca Batı Kıyısı'ndan hizmet veriyor. TypeSafe, fiyatlandırmanın sürdürülebilirliğinin zaman içinde netleşeceğini ve yaklaşık 194 kat daha hızlı ile 445 kat daha ucuz gibi öne çıkan rakamların kendi iş akışı değerlendirmelerinden geldiğini, gerçek dünya kazanımlarının muhtemelen bu rakamların altında kalacağını belirtiyor. Pydantic'in belgeleri de Jev'in yanıtını yönlendirmek için yazılmış girdilerin etkili olabileceğini not ediyor; bu nedenle Jev tabanlı güvenlik önlemlerinin deterministik denetimlerle birlikte kullanılması gerekiyor.

Sıkça Sorulan Sorular

Jev modeli ne zaman ve nasıl piyasaya çıktı?

TypeSafe AI'ın Jev modeli 15 Eylül'de erken erişim olarak kullanıma açıldı. Günler içinde Pydantic AI ve LangChain gibi ajan çerçevelerine entegre edildi; yoğun ilgi üzerine TypeSafe kayıt kuyruğunu geçici olarak durdurdu ve pek çok kullanıcı modele OpenRouter üzerinden erişmeye başladı.

Jev'in fiyatlandırması ve hızı nasıl?

TypeSafe'in açıkladığı verilere göre Jev milyon girdi token başına 0,042 dolar maliyetle çalışıyor ve çıktı tokenları ücretsiz. Yanıt süresi genellikle 70 ila 500 milisaniye arasında. Şirketin kendi iş akışı değerlendirmelerine göre bu rakamlar LLM tabanlı yaklaşıma kıyasla yaklaşık 194 kat daha hızlı ve 445 kat daha ucuz anlamına geliyor; ancak TypeSafe bu rakamların gerçek dünya kazanımlarının üst sınırında yer aldığını belirtiyor.

Jev'in açık kaynak alternatifleri var mı ve nasıl çalışıyorlar?

Evet. SemIf, dondurulmuş bir Qwen3.5-4B modelinden olasılıkları doğrudan okuyarak hiç model eğitmeden çalışıyor ve 21 soruyu yaklaşık bir saniyede yanıtlıyor. Laya ise 421 milyon parametreli ModernBERT-large omurgası üzerine kurulu ve Nvidia T4 üzerinde soru başına 33 ila 40 milisaniyede yanıt veriyor. Diğer projeler Qwen3.5'e LoRA adaptörleri uyguluyor ya da DiffusionGemma üzerinde çalışıyor.

TypeSafe'in RLCD yöntemi nedir?

RLCD, TypeSafe'in Kalibrasyon için Pekiştirmeli Öğrenme olarak adlandırdığı eğitim yöntemi. Bu yöntem modeli, döndürdüğü olasılıkların ne sıklıkla doğru olduğuyla örtüşecek biçimde optimize ediyor. TypeSafe, kalibrasyonu birincil eğitim hedefi yapmayı temel iddiası olarak sunuyor; ancak Jev'in iç mimarisi hakkında kamuoyuyla paylaştığı ayrıntılar sınırlı.

Kurumsal ekipler bu yaklaşıma geçmeden önce ne yapmalı?

İlk adım mevcut LLM trafiğinin denetlenmesi: çağrıların metin üretimi ile yönlendirme, önceliklendirme, etiketleme, onay ve puanlama gibi karar kategorilerine ayrılması. Gerçek tasarruf, ne kadar harcamanın taşınabileceğine ve yerine geçen çözümün gerçek maliyetine bağlı. Pydantic'in belgeleri ayrıca Jev tabanlı güvenlik önlemlerinin deterministik denetimlerle birlikte kullanılması gerektiğini vurguluyor.