NVIDIA'nın Bolt E4B modeli yerel asistanlarda bellek yükünü azaltmayı hedefliyor
23 Ekim'de açıklanan küçük model, yaklaşık 4 GB hedefli iş yükleri ve çok adımlı araç kullanımıyla geliyor.
Küçük model, farklı amaç
NVIDIA, 23 Ekim'de Nemotron 3.5 Bolt E4B 4GB adlı küçük dil modelini duyurdu. Gemma 4 E4B üzerine şirketin ek eğitimiyle kurulan model; sesli asistanlar, cihaz arayüzleri ve etkileşimli karakterler gibi hızlı yanıt gerektiren kullanımlara odaklanıyor. Buradaki amaç yalnız daha büyük modelle yarışmak değil, belleği sınırlı bir sistemde konuşma ve eylemi birlikte yönetebilmek.
4 GB ne demek?
Üretici hedeflediği iş yüklerinde yaklaşık 4 GB bellekle çalışabilmeyi vurguluyor. Bu sayı, her kurulumun bütün bileşenleriyle kesin aynı belleği tüketeceği anlamına gelmez. Bağlam uzunluğu, uygulamanın diğer parçaları ve donanım seçimi ayrıca önem taşıyor. Duyuruda çok turlu araç kullanımı, ayarlanabilir akıl yürütme ve 64 bin bağlam kapasitesi de listeleniyor.
İddiaları nasıl okumalı?
Şirket önceki modeline göre kalite artışı bildirdi; BytePusula sonucu yeniden ölçmüş değil. Yerel asistan seçerken yanıt süresi kadar talimatlara uyum ve doğru araç çağrısı da sınanmalı. Modelin yerelde çalışabilmesi, bağlı uygulamaların veri göndermediğini veya her kullanımda gizlilik sağlandığını tek başına kanıtlamaz.