Kısa cevap
Limiti ve faturası olmayan LLM ücretsiz API erişimi istiyorsanız, bu hizmet o değildir ve bunu vaat eden herkese şüpheyle yaklaşmalısınız. Büyük dil modellerini çalıştırmak GPU süresi için gerçek para demektir, bu nedenle barındırılan bir uç nokta ya token başına ücretlendirme yapar, sizi sertçe sınırlar ya da kendini başka bir şekilde amorti eder. Bu API'nin sunduğu şey bir denemedir: Kayıt olduktan sonra API anahtarı sayfasında tek tıkla $0.50 kredi talep edersiniz. Kişi başı bir tanedir, 7 gün geçerlidir ve talep etmek için hiçbir şey ödemezsiniz.
Bundan sonra model kullanıldıkça ödemeli çalışır. Ön ödemeli kredi satın alırsınız, 1M giriş token başına $0.15 ve 1M çıktı token başına $0.50 oranında harcarsınız ve arkasında bekleyen bir aylık ücret yoktur. Token başına oranlar düşük olduğu için $0.50, göründüğünden çok daha uzağa gider. Aşağıdaki bölümler, denemenin testiniz için yeterli olup olmadığını ve deneme süresi bittikten sonra gerçek bir iş yükünün neye mal olacağını belirlemeniz için somut sayılar sunar.
Uç nokta OpenAI ile uyumludur, bu yüzden onu denemek muhtemelen zaten sahip olduğunuz koddaki bir base URL ve anahtarı değiştirmeyi gerektirir. Kurulum detaylarını hızlı başlangıç sayfasında okuyabilir, fiyat listesini ise fiyatlandırma sayfasında bulabilirsiniz.
$0,50 deneme kredisi ne sağlar
Token fiyatları milyon başına verilmiştir, bu hissedilmesi zordur. Daha basit bir yol, bir isteğin fiyatını belirlemek ve sonra bölmektir. Bir token, birkaç karakter metin içerir, bu nedenle 1.000 token yaklaşık düz bir anlatım sayfasına eşittir. 1.000 giriş tokenı ve 500 çıktı tokenı olan bir istek alın:
- Giriş: 1.000 token x $0,15 / 1.000.000 = $0,00015
- Çıkış: 500 token x $0,50 / 1.000.000 = $0,00025
- Toplam: $0,0004 istek başına
Deneyi buna bölün: $0.50 / $0.0004 = 1.250 istek. Bu, bir prototip oluşturmak, birkaç yüz test istemi çalıştırmak ve bir demo için hala kredi bırakmak için yeterlidir. Aşağıdaki tablo, dört yaygın istek şekli için aynı aritmetiği gösterir.
| İstek şekli | Giriş / çıkış tokenları | İstek başına maliyet | 0,50 $'lık istekler |
|---|---|---|---|
| Kısa sınıflandırma | 300 / 20 | $0.000055 | yaklaşık 9.090 |
| Standart test istemi | 1,000 / 500 | $0.0004 | 1,250 |
| Geçmişli sohbet dönüşü | 3,000 / 700 | $0.0008 | 625 |
| Uzun belge geçişi | 80,000 / 2,000 | $0.013 | 38 |
Uzun belge satırı denemenin nerede hızlıca tükendiğini gösterir: büyük istemler. Sadece girdi ile 100,000 token bağlam penceresini doldurmak 100,000 x $0.15 / 1,000,000 = $0.015 maliyetinde olur, bu yüzden cevapları saymadan önce bu boyuttaki yaklaşık 33 istek için deneme yeterli gelir.
Bilmeniz gereken deneme kısıtlamaları
Deneme anahtarı bilinçli olarak tam anahtardan daha küçüktür. 2 eşzamanlı istek ve dakika başına 60 istek izn verir; tam anahtarın 8 eşzamanlı ve dakika başına 300 istek hakkı varken. Manuel testler ve tek bir betik için bu fazlasıyla yeterlidir. Çok sayıda işçiye sahip bir toplu işi ona yönlendirirseniz sizi vurur.
Bir limiti aştığınızda API HTTP 429 ile yanıt verir. Hata kodu, dakika başı istek limitini aştığınızda rate_limited, aynı anda çok fazla istek aktif olduğunda ise concurrency şeklindedir. Akış burada önemlidir: bir akışlı istek, akış bitene kadar eşzamanlılık slotunu tutar, bu nedenle dakika başı 60'ın çok altında olsanız bile iki uzun akış, üçüncü bir isteği bloke edebilir. Deneme anahtarı üzerinde concurrency hataları görürseniz, işçi sayınızı 2'ye düşürün.
Deneme süresi, talep tarihinden itibaren 7 gün sürer, bu yüzden hesabı ilk oluşturduğunuzda değil, test etmeye hazır olduğunuzda talep edin. Kayıt Google veya e-posta ve şifre ile desteklenir ve krediyi al butonu API anahtarı sayfasında bulunur.
Deneme süresinden sonra gerçek bir iş yükünün maliyeti
Hesaplamaları açıkça gösteren üç örnek, böylece kendi sayılarınızı yerleştirebilirsiniz.
Geçmişli bir sohbet uygulaması
Her dönüş, sistem istemi ve geçmişini içeren yaklaşık 3.000 token gönderir ve 700 token geri alır. Bu, giriş için 3.000 x $0,15 / 1M = $0,00045 ve çıktı için 700 x $0,50 / 1M = $0,00035 tutar, yani mesaj başına $0,0008. Bin mesaj $0,80'a mal olur. Günde 40 mesaj gönderen bir kullanıcı size günde $0,032, 30 günlük bir ayda yaklaşık $0,96'a mal olur.
Toplu iş
10.000 kayıt işlediğinizi, her birinin 1.500 token girdisi ve 300 token çıktısı olduğunu varsayalım. Girdi 15.000.000 token olup bu 15 x $0,15 = $2,25 eder. Çıktı 3.000.000 token olup bu 3 x $0,50 = $1,50 eder. Tüm çalıştırma işlemi $3,75 eder. Çıktının burada girdi tokenlarının yalnızca altıda biri olduğunu ancak faturanın %40'ını oluşturduğunu fark edin, çünkü çıktı token başına girdiden üç katından fazla maliyetle gelir.
Uzun bağlam analizi
80.000 tokenlık bir belgeyi okumak ve 2.000 tokenlık bir özet yazmak giriş için $0.012 ve çıktı için $0.001 tutar, yani toplam $0.013. Bunu 100 belge için çalıştırırsanız $1.30 harcamış olursunuz.
Başarısız veya reddedilen istekler için ücret alınmaz, bu nedenle hata veren bir istek bu toplamları azaltmaz. Her yanıt, kalan bakiyeyi kendi kodunuzdan izlemenize olanak tanıyan X-Balance-USD başlığını taşır, böylece tahmin etmek yerine takip edebilirsiniz.
$20'lik bir üst bakiye neyi kapsar
Minimum üst bakiye $20'dir ve $500'e kadar herhangi bir tam miktar ekleyebilirsiniz. Daha büyük üst bakiyeler bonus taşır: $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15. Pratikte bu, $50'nin $52.50 kredi, $100'ün $110 ve $200'ün $230 kredi vermesi anlamına gelir. Ödeme yalnızca kripto ile yapılır, TRC20 üzerinde USDT veya Base üzerinde USDC ve kredi asla sona ermez, bu nedenle bir ay içinde harcamak için baskı yoktur.
$20 ile bonus olmadan, tabloda yer alan aynı dört istek şekli şöyle hesaplanır:
- $0.000055'te kısa sınıflandırma: yaklaşık 363.636 istek
- $0.0004'te standart test istemi: 50.000 istek
- $0.0008'te sohbet dönüşü: 25.000 istek
- $0.013'te uzun belge geçişi: yaklaşık 1.538 istek
Çoğu yan proje için $20, aylarca kullanım demektir. Ödemeden önce mevcut üst bakiye seçenekleri için fiyatlandırma sayfasını kontrol edin.
Ücretsiz krediyi daha uzun süre kullanmanın yolları
Uygulamanızın ne yaptığı değişmeden faturayı düşüren birkaç alışkanlık vardır.
- Geçmişi kısaltın. Girdi tokenları ucuz taraftadır, ancak her mesajda eski 20.000 tokenı yeniden gönderen bir sohbet birikir. Eski konuşmaları özetleyin veya bırakın.
- Çıktıyı gerektiğinde sınırlandırın.
max_tokensisteğe bağlıdır, ancak sınıflandırma gibi kısa görevler için ayarlamak, dolaşık bir cevabın beklediğinizden beş katına mal olmasını engeller. - Durdurma dizileri kullanın.
stopparametresi üretimi seçtiğiniz bir işaretleyicide sonlandırır. - Test sırasında istemleri sabit tutun.
seedparametresi, aynı istemin çalıştırmalarını karşılaştırmanıza yardımcı olur, böylece gürültü peşinde koşarak kredi yakmazsınız. - Kendi kullanımınızı okuyun. Her yanıtın
usagebloğunu günlüğe kaydedin ve iki oranla çarpın. Beş satırlık bir yardımcı program, maliyeti ilk günden görünür kılar.
IN_PER_M, OUT_PER_M = 0.15, 0.50
def cost_usd(usage):
return (usage.prompt_tokens * IN_PER_M
+ usage.completion_tokens * OUT_PER_M) / 1_000_000
# resp = client.chat.completions.create(...)
# print(f"${cost_usd(resp.usage):.6f}")Bunu gerçek uç noktada denemek istiyorsanız, temel URL'yi https://api.nsfwvideogenerator.cc/v1 olarak ayarlayın, model kimliği olarak uncensored kullanın ve anahtarınızı Bearer token olarak gönderin. hızlı başlangıç sayfasında Python, Node ve curl için çalışan bir örnek bulunur.
Ücretsiz alternatifler ve ne zaman mantıklı oldukları
Bu konuda açık olmak gerekirse: deneme tek yol değildir. Açık ağırlıklı modeller kendi donanımınızda çalıştırılabilir, bu token başına ücreti olmayan ancak yeterli belleğe sahip bir makine ve kurulum ile çalışır halde tutma için sizin zamana ihtiyaç duyar. Bazı sağlayıcılar ayrıca ücretsiz planları da reklam yapar, bu nedenle bir özet'e güvenmek yerine mevcut fiyatlandırmalarını ve koşullarını kontrol edin.
Hosted bir ön ödemeli uç nokta kullanmanın nedeni basit. Yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıt verecek şekilde ayarlanmış bir model, kararlı bir OpenAI uyumlu arayüz ve bir peçetede hesaplayabileceğiniz bir fiyat alırsınız. Sert sınır yerinde kalır: reşit olmayanlarla ilgili cinsel içerik yok. Hizmet yalnızca metin içindir, bu nedenle görsel, ses veya video üretmez ve gömme veya ince ayar sunmaz. Projeniz, NSFW iş akışı sayfasında açıklanan aşağı aşama araçları için betikler ve istemler gibi bir metin iş akışı ise, ihtiyacınız olan dilim tam olarak budur.
İstemler eğitim için kullanılmaz; bu, gerçek proje materyalini herhangi bir barındırılan API'ye eklemeden önce bilmeniz gereken bir bilgidir.
