संक्षिप्त उत्तर
यदि आप सीमा और बिल के बिना llm फ्री API एक्सेस चाहते हैं, तो यह उस सेवा नहीं है, और जो कोई भी इसे वादा करता है उस पर आप संदेह करें। एक बड़े भाषा मॉडल को चलाने में GPU समय की असली लागत आती है, इसलिए एक होस्टेड एंडपॉइंट या तो प्रति टोकन चार्ज करता है, आपको कठोर रूप से सीमित करता है, या किसी अन्य तरीके से अपना खर्च निकालता है। इस API द्वारा प्रदान की जाने वाली चीज़ एक ट्रायल है: साइन-अप करने के बाद, आप API कुंजी पृष्ठ पर एक क्लिक से $0.50 क्रेडिट दावा करते हैं। यह प्रति व्यक्ति एक है, यह 7 दिनों के लिए मान्य है, और इसे दावा करने के लिए आपको कुछ नहीं देना है।
इसके बाद मॉडल पे-एस-यू-गो है। आप प्रीपेड क्रेडिट खरीदते हैं, आप इसे $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन पर खर्च करते हैं, और इसके पीछे कोई मासिक शुल्क नहीं है। चूंकि टोकन-आधारित दरें कम हैं, $0.50 उससे कहीं ज्यादा दूर जाता है जितना लगता है। नीचे दिए गए अनुभाग आपको वास्तविक संख्याएं देते हैं ताकि आप निर्णय ले सकें कि क्या ट्रायल आपके टेस्ट के लिए पर्याप्त है, और एक वास्तविक वर्कलोड की लागत कितनी है जब यह ट्रायल नहीं रहता।
एंडपॉइंट OpenAI-संगत है, इसलिए इसे आज़माने का मतलब है कि आपके द्वारा पहले से मौजूद कोड में बेस URL और कुंजी बदलना है। सेटअप विवरण आप क्विकस्टार्ट पेज पर पढ़ सकते हैं, और मूल्य सूची प्राइसिंग पेज पर उपलब्ध है।
$0.50 का मुफ़्त ट्रायल क्रेडिट क्या खरीदता है
टोकन की कीमत प्रति मिलियन के हिसाब से दी जाती है, जो महसूस करना मुश्किल है। एक सरल तरीका यह है कि एक अनुरोध की कीमत निकालें, फिर भाग दें। एक टोकन टेक्स्ट के कुछ अक्षर होते हैं, इसलिए 1,000 टोकन लगभग एक पेज सादे पाठ के बराबर होते हैं। एक अनुरोध लें जिसमें 1,000 इनपुट टोकन और 500 आउटपुट टोकन हैं:
- इनपुट: 1,000 टोकन x $0.15 / 1,000,000 = $0.00015
- आउटपुट: 500 टोकन x $0.50 / 1,000,000 = $0.00025
- कुल: $0.0004 प्रति अनुरोध
ट्रायल को उससे भाग दें: $0.50 / $0.0004 = 1,250 अनुरोध। यह एक प्रोटोटाइप बनाने, कुछ सौ टेस्ट प्रॉम्प्ट चलाने और डेमो के लिए क्रेडिट बचाने के लिए पर्याप्त है। नीचे की तालिका चार सामान्य अनुरोध प्रकारों के लिए उसी गणित को दिखाती है।
| अनुरोध का आकार | इनपुट / आउटपुट टोकन | प्रति अनुरोध लागत | $0.50 में अनुरोध |
|---|---|---|---|
| संक्षिप्त वर्गीकरण | 300 / 20 | $0.000055 | लगभग 9,090 |
| मानक टेस्ट प्रॉम्प्ट | 1,000 / 500 | $0.0004 | 1,250 |
| इतिहास के साथ चैर टर्न | 3,000 / 700 | $0.0008 | 625 |
| लंबे दस्तावेज़ का पास | 80,000 / 2,000 | $0.013 | 38 |
लंबे दस्तावेज़ की पंक्ति दिखाती है कि ट्रायल जल्दी खत्म हो जाता है: बड़े प्रॉम्प्ट। इनपुट से पूरी 100,000 टोकन कॉन्टेक्स्ट विंडो भरने की लागत 100,000 x $0.15 / 1,000,000 = $0.015 होती है, इसलिए ट्रायल लगभग 33 ऐसे अनुरोधों को कवर कर सकता है, भले ही आप जवाबों की लागत नहीं जोड़ रहे हों।
मुफ़्त ट्रायल क्रेडिट की सीमाएँ जिन्हें आपको जानना चाहिए
ट्रायल कुंजी को जानबूझकर पूर्ण कुंजी से छोटा रखा गया है। यह 2 समानांतर अनुरोध और प्रति मिनट 60 अनुरोध की अनुमति देता है, जबकि पूर्ण कुंजी पर 8 समानांतर और प्रति मिनट 300 होते हैं। मैनुअल टेस्टिंग और एक अकेले स्क्रिप्ट के लिए यह पर्याप्त है। यदि आप इसे कई वर्कर वाले बैच जॉब के लिए इस्तेमाल करते हैं तो यह समस्या बन सकता है।
जब आप एक सीमा से अधिक हो जाते हैं तो API HTTP 429 के साथ जवाब देता है। त्रुटि कोड rate_limited होता है जब आप प्रति मिनट अनुरोधों की सीमा से अधिक हो जाते हैं और concurrency होता है जब एक साथ बहुत सारे अनुरोध प्रगति पर होते हैं। स्ट्रीमिंग यहाँ मायने रखता है: एक स्ट्रीमिंग अनुरोध अपनी कॉन्करेंसी स्लॉट को तब तक पकड़े रखता है जब तक स्ट्रीम नहीं समाप्त हो जाती, इसलिए दो लंबे स्ट्रीम एक तीसरे अनुरोध को ब्लॉक कर सकते हैं भले ही आप प्रति मिनट 60 से बहुत कम हों। यदि आपको ट्रायल कुंजी पर concurrency त्रुटियाँ दिखती हैं, तो अपने वर्कर की संख्या को 2 तक कम कर दें।
ट्रायल दावे से 7 दिनों तक चलता है, इसलिए इसे तब दावें जब आप टेस्ट करने के लिए तैयार हों, न कि जब आप पहली बार खाता बनाते हैं। साइन-अप Google या ईमेल और पासवर्ड से काम करता है, और दाव बटन API कुंजी पेज पर है।
ट्रायल के बाद एक वास्तविक लोड की लागत
तीन उदाहरण गणना सहित, ताकि आप अपने खुद के नंबर डाल सकें।
इतिहास के साथ एक चैट ऐप
प्रत्येक टर्न में लगभग 3,000 टोकन सिस्टम प्रॉम्प्ट और इतिहास भेजता है और 700 टोकन वापस पाता है। इनपुट के लिए लागत 3,000 x $0.15 / 1M = $0.00045 आती है और आउटपुट के लिए 700 x $0.50 / 1M = $0.00035 आती है, इसलिए प्रति संदेश $0.0008 आता है। एक हजार संदेशों की लागत $0.80 आती है। एक उपयोगकर्ता जो प्रतिदिन 40 संदेश भेजता है, उसकी लागत आपको प्रतिदिन $0.032 आती है, जो 30 दिनों के महीने में लगभग $0.96 होती है।
बैच जॉब
मान लीजिए कि आप 10,000 रिकॉर्ड प्रोसेस करते हैं, जिनमें से प्रत्येक में 1,500 टोकन इनपुट और 300 टोकन आउटपुट है। इनपुट 15,000,000 टोकन है, जो 15 x $0.15 = $2.25 है। आउटपुट 3,000,000 टोकन है, जो 3 x $0.50 = $1.50 है। पूरी रन $3.75 की है। ध्यान दें कि यहाँ टोकन की कुल संख्या में आउटपुट केवल एक छठांश है लेकिन बिल का 40% है, क्योंकि इनपुट की तुलना में आउटपुट प्रति टोकन तीन गुना से अधिक खर्चीला है।
लॉन्ग-कॉन्टेक्स्ट विश्लेषण
80,000 टोकन के दस्तावेज़ को पढ़ने और 2,000 टोकन का सारांश लिखने की लागत इनपुट के लिए $0.012 और आउटपुट के लिए $0.001 आती है, इसलिए कुल $0.013 आती है। इसे 100 दस्तावेज़ों पर चलाएँ और आपने $1.30 खर्च कर दिए हैं।
असफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता, इसलिए एरर वाला अनुरोध इन कुल राशि को प्रभावित नहीं करता। हर प्रतिक्रिया में X-Balance-USD हेडर होता है, जिससे आप अपने कोड से शेष राशि देख सकते हैं और अनुमान नहीं लगाना पड़ता।
$20 के टॉप-अप से क्या कवर होता है
न्यूनतम टॉप-अप $20 है, और आप $500 तक कोई भी पूर्ण राशि जोड़ सकते हैं। बड़े टॉप-अप में बोनस होता है: $50 से +5%, $100 से +10% और $200 से +15%। व्यावहारिक रूप से इसका मतलब है कि $50 आपको $52.50 क्रेडिट देता है, $100 आपको $110 देता है और $200 आपको $230 देता है। भुगतान केवल क्रिप्टो में होता है, USDT on TRC20 या USDC on Base, और क्रेडिट कभी समाप्त नहीं होता, इसलिए महीने के अंदर इसे खर्च करने का दबाव नहीं है।
$20 पर बिना बोनस के, तालिका से चार अनुरोध प्रकार इस प्रकार काम करते हैं:
- $0.000055 पर लघु वर्गीकरण: लगभग 363,636 अनुरोध
- $0.0004 पर मानक टेस्ट प्रॉम्प्ट: 50,000 अनुरोध
- $0.0008 पर चैट टर्न: 25,000 अनुरोध
- $0.013 पर लंबे दस्तावेज़ का निष्पादन: लगभग 1,538 अनुरोध
अधिकांश साइड प्रोजेक्ट्स के लिए, $20 महीनों का उपयोग है। भुगतान करने से पहले वर्तमान टॉप-अप विकल्पों के लिए मूल्य निर्धारण पृष्ठ देखें।
मुफ़्त क्रेडिट को और आगे बढ़ाने के तरीके
कुल खर्च को कम करने के लिए कुछ आदतें, बिना आपके ऐप के कार्य को बदले।
- इतिहास को कम करें। इनपुट टोकन सापेक्ष रूप से सस्ते होते हैं, लेकिन एक चैट जो हर संदेश में पुराने 20,000 टोकन को फिर से भेजती है, उसका खर्च बढ़ जाता है। पुराने संदेशों को सारांशित करें या हटा दें।
- जहाँ ज़रूरी हो, आउटपुट को सीमित करें।
max_tokensवैकल्पिक है, लेकिन वर्गीकरण जैसे छोटे कार्यों के लिए इसे सेट करने से भटकते हुए उत्तर की लागत आपकी उम्मीद से पाँच गुना नहीं हो जाती। - स्टॉप सीक्वेंस का उपयोग करें।
stopपैरामीटर उस मार्कर पर जनरेशन समाप्त करता है जिसे आप चुनते हैं। - टेस्टिंग के दौरान प्रॉम्प्ट को स्थिर रखें।
seedपैरामीटर आपको एक ही प्रॉम्प्ट के रन की तुलना करने में मदद करता है, ताकि आप शोर का पीछा करते हुए क्रेडिट न जलाएं। - अपनी खपत स्वयं देखें। प्रत्येक प्रतिक्रिया से
usageब्लॉक लॉग करें और उसे दोनों दरों से गुणा करें। पाँच पंक्तियों वाला एक हेल्पर पहले दिन से लागत स्पष्ट बना देता है।
IN_PER_M, OUT_PER_M = 0.15, 0.50
def cost_usd(usage):
return (usage.prompt_tokens * IN_PER_M
+ usage.completion_tokens * OUT_PER_M) / 1_000_000
# resp = client.chat.completions.create(...)
# print(f"${cost_usd(resp.usage):.6f}")यदि आप इसे वास्तविक एंडपॉइंट पर आज़माना चाहते हैं, तो बेस URL को https://api.nsfwvideogenerator.cc/v1 पर सेट करें, मॉडल ID uncensored का उपयोग करें, और अपनी कुंजी को Bearer टोकन के रूप में भेजें। क्विकस्टार्ट में Python, Node और curl के लिए एक कार्यरत उदाहरण है।
मुफ़्त विकल्प और वे कब उपयुक्त हैं
इसके बारे में स्पष्ट रहना: ट्रायल एकमात्र रास्ता नहीं है। ओपन-वेट मॉडल को आपकी अपनी हार्डवेयर पर चलाया जा सकता है, जिसमें प्रति-टोकन शुल्क नहीं है, लेकिन इसे सेट करने और चलाने के लिए पर्याप्त मेमोरी वाली मशीन और आपका समय ज़रूरी है। कुछ प्रदाता मुफ़्त टियर का भी विज्ञापन करते हैं, जिनकी अपनी रेट लिमिट और नीतियाँ होती हैं, इसलिए किसी सारांश पर भरोसा करने के बजाय उनकी वर्तमान कीमत और शर्तों की जाँच करें।
होस्टेड प्रीपेड एंडपॉइंट का उपयोग करने का कारण सरल है। आपको एक मॉडल मिलता है जो कानूनी वयस्कों के उपयोग के लिए बिना सेंसर जवाब देने के लिए ट्यून्ड है, एक स्थिर OpenAI-कम्पैटिबल इंटरफ़ेस, और एक कीमत जिसे आप एक नैपकिन पर गणना कर सकते हैं। कठोर सीमा बनाए रखी जाती है: नाबालिगों से जुड़ा यौन सामग्री नहीं है। सेवा केवल टेक्स्ट है, इसलिए यह छवियाँ, ऑडियो या वीडियो जनरेट नहीं करेगी, और न ही यह एम्बेडिंग या फाइन-ट्यूनिंग प्रदान करती है। यदि आपका प्रोजेक्ट एक टेक्स्ट पाइपलाइन है, जैसे कि NSFW पाइपलाइन्स पेज पर वर्णित डाउनस्ट्रीम टूल्स के लिए स्क्रिप्ट और प्रॉम्प्ट, तो यह ठीक वही स्लाइस है जिसकी आपको ज़रूरत है।
प्रॉम्प्ट को ट्रेनिंग के लिए उपयोग नहीं किया जाता है, जो इसे किसी भी होस्टेड API में असली प्रोजेक्ट सामग्री पेस्ट करने से पहले जानना मूल्यवान है।
