Meta, Muse Ember modelini duyurdu: API fiyatı ve uzun bağlam ayrıntıları
Meta’nın yeni Muse Ember modeli, tekrarlanan ajan görevlerini hedefliyor. API fiyatlarını, 200 bin token eşiğini ve platformlar arasındaki özellik farkını inceledik.
Kapak fotoğrafı: LPS.1 / Wikimedia Commons / CC0 1.0 — Meta’nın Menlo Park kampüsünün girişi; 27 Mart 2022 tarihli arşiv fotoğrafı.
Meta, tekrarlanan yapay zekâ ajanı görevleri için geliştirdiği Muse Ember modelini 9 Kasım’da kullanıma sundu. Şirketin Muse ailesindeki en küçük ve verimli model olarak tanımladığı Ember; belge işleme, araç çağrıları, sınıflandırma ve kodlama alt görevlerinde kullanılmak üzere konumlandırılıyor. Erişim, Meta Model API ve Muse Code üzerinden sağlanıyor.
Yeni modelin dikkat çeken tarafı başlangıç fiyatı: bir milyon giriş tokenı için 0,10 dolar, çıkış tokenı için 0,50 dolar. Ancak uzun belgelerle çalışacak ekipler açısından önemli bir ayrıntı var: tek isteğin giriş uzunluğu 200 bin tokenı geçtiğinde farklı tarife uygulanıyor.
Büyük model planlıyor, Ember tekrarlanan işleri yürütüyor
Muse Ember, daha büyük bir modelin oluşturduğu planın belirli alt adımlarını çok sayıda kez çalıştırmak için tasarlanıyor. Örneğin destek taleplerini konularına göre ayırma, dosyalardan alan çıkarma veya çok sayıda görseli sınıflandırma gibi sınırlı görevler bu kapsama giriyor. Karmaşık bir sorunun tamamını tek seferde çözmek ile aynı işlemi binlerce kayıtta tekrarlamak, burada farklı kullanım ihtiyaçları olarak ele alınıyor.
Meta Model API sürümü metin, görsel, ses, video ve PDF girdilerini kabul ediyor; çıktı türü metin. Bağlam penceresi 1.048.576 token, azami çıktı sınırı 524.288 token olarak belirtiliyor. Bu üst sınırlar, her istekte bu kadar veri kullanılması gerektiği anlamına gelmiyor.
Facebook’un Menlo Park kampüsünün havadan görünümü; 17 Eylül 2019 tarihli arşiv fotoğrafı. Fotoğraf: Pi.1415926535, Aerial view of Facebook campus in Menlo Park, September 2019 / Wikimedia Commons / CC BY-SA 3.0 — Lisans.
200 bin token eşiği faturayı nasıl değiştiriyor?
200 bin giriş tokenına kadar olan isteklerde önbelleğe alınmış girişin milyon token başına fiyatı 0,004 dolar. Eşik aşıldığında normal giriş 0,30 dolara, önbellek girişi 0,012 dolara, çıkış ise 1,50 dolara yükseliyor. Yüksek tarife yalnızca eşiği aşan kısma değil, isteğin tamamına uygulanıyor; önbellekteki tokenlar da eşik hesabına katılıyor.
Startupost’un örnek hesabında, her biri 10 bin giriş ve bin çıkış tokenı tüketen bin istek, toplam 10 milyon giriş ve bir milyon çıkış tokenı oluşturuyor. İstekler düşük tarifede kaldığında modelin token bedeli 1 + 0,50 = 1,50 dolar ediyor. Bu hesap önbellek indirimi içermiyor; harici araç ücretleri, vergi ve uygulamanın diğer giderleri kapsam dışında. Gerçek fatura, işlenen token miktarına bağlı.
Platforma göre giriş desteği değişiyor
Google Cloud üzerinden sunulan Muse Ember 1.0 ise önizleme aşamasında. Bu dağıtımda desteklenen girdiler metin ve görselle sınırlı; çıktı metin. Dolayısıyla Meta’nın kendi API’sindeki ses ve video desteğini bütün erişim kanallarında var saymak doğru olmaz. Google Cloud sürümünde toplu tahmin desteği de bulunmuyor.
Startupost değerlendirmesi: Düşük birim fiyatı, tekrarlanan görevler için bütçe planlamasını kolaylaştırabilir. Ancak kullanılacak platformun özellikleri ve her isteğin uzunluğu, model adından ayrı değerlendirilmesi gereken iki belirleyici. Şirketin performans karşılaştırmaları burada bağımsız uygulama testi olarak sunulmuyor; modelin belirli bir iş akışında sağlayacağı hız veya doğruluk kazanımı için ölçüm yapılmış değil.
