คำตอบแบบสั้น
หากคุณต้องการการเข้าถึง API ของ LLM แบบฟรีโดยไม่มีขีดจำกัดและไม่มีบิล นี่คือบริการนั้นไม่ใช่ และคุณควรสงสัยกับใครก็ตามที่สัญญาแบบนั้น การรันโมเดลภาษาขนาดใหญ่มีค่าใช้จ่ายจริงในแง่ของเวลา GPU ดังนั้นเอนด์พอยต์แบบโฮสต์จึงเก็บค่าต่อโทเคน, จำกัดคุณอย่างหนัก, หรือชดเชยด้วยวิธีอื่น สิ่งที่ API นี้เสนอคือเครดิตทดลอง: หลังจากลงทะเบียน คุณขอรับ เครดิต $0.50 ได้หนึ่งคลิกในหน้าคีย์ API มันได้หนึ่งครั้งต่อคน มีอายุ 7 วัน และไม่เสียค่าใช้จ่ายในการขอรับ
หลังจากนั้นโมเดลจะคิดเงินตามการใช้งานจริง คุณซื้อเครดิตแบบเติมเงินล่วงหน้า และใช้จ่ายในอัตรา $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาท์พุต โดยไม่มีค่าธรรมเนียมรายเดือนรออยู่เบื้องหลัง เนื่องจากอัตราต่อโทเคนต่ำ เงิน $0.50 จึงไปได้ไกลกว่าที่คิด ส่วนด้านล่างจะแสดงตัวเลขจริงเพื่อให้คุณตัดสินใจได้ว่าเครดิตทดลองเพียงพอสำหรับการทดสอบของคุณหรือไม่ และงานจริงมีค่าใช้จ่ายเท่าใดเมื่อหมดเครดิต
เอนด์พอยต์นี้เข้ากันได้กับ OpenAI ดังนั้นการลองใช้จึงหมายถึงการเปลี่ยน URL ฐานและคีย์ในโค้ดที่คุณน่าจะมามีอยู่แล้ว คุณสามารถอ่านรายละเอียดการตั้งค่าบน หน้าเริ่มต้นใช้งาน และรายการราคาอยู่บน หน้าราคา
เครดิตทดลองใช้ $0.50 ซื้ออะไรได้บ้าง
ราคาโทเคนระบุต่อล้าน ซึ่งยากที่จะจินตนาการ วิธีที่ง่ายกว่าคือการคิดราคาต่อหนึ่งคำขอ แล้วหารออก โทเคนคือข้อความไม่กี่ตัวอักษร ดังนั้น 1,000 โทเคนจึงประมาณเท่ากับหนึ่งหน้าของข้อความธรรมดา นำคำขอที่มี 1,000 โทเคนอินพุตและ 500 โทเคนเอาท์พุตมาพิจารณา:
- อินพุต: 1,000 โทเคน x $0.15 / 1,000,000 = $0.00015
- เอาต์พุต: 500 โทเคน x $0.50 / 1,000,000 = $0.00025
- รวม: $0.0004 ต่อคำขอ
นำเครดิตทดลองใช้มาหารด้วยค่านั้น: $0.50 / $0.0004 = 1,250 คำขอ เพียงพอสำหรับการสร้างโปรโตไทป์ รันพรอมต์ทดสอบหลายร้อยรายการ และยังมีเครดิตเหลือสำหรับทำดีโม ตารางด้านล่างแสดงการคำนวณเดียวกันสำหรับรูปแบบคำขอทั่วไป 4 แบบ
| รูปแบบคำขอ | โทเคนป้อนเข้า / เอาต์พุต | ต้นทุนต่อคำขอ | คำขอใน $0.50 |
|---|---|---|---|
| การจำแนกประเภทแบบสั้น | 300 / 20 | $0.000055 | ประมาณ 9,090 |
| พรอมต์ทดสอบมาตรฐาน | 1,000 / 500 | $0.0004 | 1,250 |
| การตอบกลับแชทพร้อมประวัติ | 3,000 / 700 | $0.0008 | 625 |
| การประมวลผลเอกสารยาว | 80,000 / 2,000 | $0.013 | 38 |
แถวเอกสารยาวแสดงจุดที่เครดิตทดลองใช้หมดเร็ว: พรอมต์ขนาดใหญ่ การกรอกหน้าต่างบริบทขนาด 100,000 โทเคนด้วยข้อมูลนำเข้าเพียงอย่างเดียวมีค่าใช้จ่าย 100,000 x $0.15 / 1,000,000 = $0.015 ดังนั้นเครดิตทดลองใช้จะครอบคลุมคำขอขนาดนั้นได้ประมาณ 33 คำขอ ก่อนนับรวมคำตอบ
ข้อจำกัดของเครดิตทดลองใช้ที่คุณควรทราบ
คีย์ทดลองถูกกำหนดให้มีขนาดเล็วกว่าคีย์เต็มรูปแบบ มันอนุญาตให้ใช้ คำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที เมื่อเทียบกับคีย์เต็มรูปแบบที่อนุญาตคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที สำหรับการใช้งานทดสอบด้วยตนเองและสคริปต์เดียวนั้นเพียงพอ แต่จะเกิดปัญหาหากคุณใช้กับงานแบทช์ที่มี worker หลายตัว
เมื่อคุณเกินขีดจำกัด API จะตอบกลับด้วย HTTP 429 รหัสข้อผิดพลาดคือ rate_limited เมื่อคุณเกินจำนวนคำขอต่อนาที และ concurrency เมื่อคำขอที่กำลังดำเนินการมีจำนวนมากเกินไปพร้อมกัน การสตรีมมิงมีความสำคัญที่นี่: คำขอแบบสตรีมจะครอบครองช่องความพร้อมใช้งานไปจนกว่าสตรีมจะสิ้นสุด ดังนั้นสตรีมที่ยาวสองสตรีมสามารถบล็อกคำขอที่สามได้ แม้ว่าคุณจะอยู่ต่ำกว่า 60 คำขอต่อนาทีก็ตาม หากคุณเห็นข้อผิดพลาด concurrency บนคีย์ทดลอง ให้ลดจำนวน worker ลงเหลือ 2
เครดิตทดลองมีอายุ 7 วันนับจากวันที่รับ ดังนั้นควรรับเมื่อคุณพร้อมที่จะทดสอบ ไม่ใช่เมื่อคุณสร้างบัญชีเป็นครั้งแรก การสร้างบัญชีทำได้ผ่าน Google หรืออีเมลและรหัสผ่าน และปุ่มรับเครดิตอยู่บน หน้าคีย์ API
ต้นทุนของงานจริงหลังจากหมดเครดิตทดลองใช้
ตัวอย่างสามรายการพร้อมการคำนวณที่แสดงไว้ เพื่อให้คุณสามารถแทนที่ด้วยตัวเลขของคุณเองได้
แอปแชทพร้อมประวัติ
แต่ละรอบส่งประมาณ 3,000 โทเคนของพรอมต์ระบบและประวัติ และได้รับ 700 โทเคนกลับคืนมา นั่นหมายถึงค่าใช้จ่าย 3,000 x $0.15 / 1M = $0.00045 สำหรับโทเคนอินพุต บวก 700 x $0.50 / 1M = $0.00035 สำหรับโทเคนเอาท์พุต ดังนั้น $0.0008 ต่อข้อความ หนึ่งพันข้อความมีค่าใช้จ่าย $0.80 ผู้ใช้ที่ส่ง 40 ข้อความต่อวันจะมีค่าใช้จ่าย $0.032 ต่อวัน หรือประมาณ $0.96 ในหนึ่งเดือน 30 วัน
งานแบบแบทช์
สมมติว่าคุณประมวลผล 10,000 บันทึก แต่ละรายการมีอินพุต 1,500 โทเคนและเอาต์พุต 300 โทเคน อินพุตคือ 15,000,000 โทเคน ซึ่งคือ 15 x $0.15 = $2.25 เอาต์พุตคือ 3,000,000 โทเคน ซึ่งคือ 3 x $0.50 = $1.50 การรันทั้งหมดคือ $3.75 สังเกตว่าเอาต์พุตมีเพียงหนึ่งในหกของโทเคนที่นี่แต่คิดเป็น 40% ของบิล เพราะเอาต์พุตมีราคาต่อโทเคนสูงกว่าอินพุตมากกว่าสามเท่า
การวิเคราะห์ long-context
การอ่านเอกสารขนาด 80,000 โทเคนและการเขียนสรุปขนาด 2,000 โทเคนมีค่าใช้จ่าย $0.012 สำหรับข้อมูลนำเข้า และ $0.001 สำหรับข้อมูลส่งออก ดังนั้น $0.013 รันบนเอกสาร 100 รายการ คุณจะใช้จ่าย $1.30
คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน ดังนั้นคำขอที่ผิดพลาดจะไม่ลดยอดรวมเหล่านี้ ทุกการตอบกลับมี X-Balance-USD ส่วนหัว ซึ่งช่วยให้คุณติดตามยอดคงเหลือจากโค้ดของคุณเองได้โดยไม่ต้องเดา
การเติมเงิน $20 ครอบคลุมอะไรบ้าง
การเติมเงินขั้นต่ำคือ $20 และคุณสามารถเพิ่มจำนวนเต็มใดๆ ได้สูงสุด $500 การเติมเงินจำนวนมากขึ้นมีโบนัส: +5% จาก $50, +10% จาก $100 และ +15% จาก $200 ในทางปฏิบัติ นั่นหมายความว่า $50 ให้เครดิต $52.50, $100 ให้ $110 และ $200 ให้ $230 การชำระเงินเป็นคริปโตเท่านั้น USDT บน TRC20 หรือ USDC บน Base และเครดิตไม่หมดอายุ ดังนั้นจึงไม่มีแรงกดดันในการใช้จ่ายภายในหนึ่งเดือน
ที่ $20 โดยไม่มีโบนัส รูปแบบคำขอทั้งสี่จากตารางทำงานได้ดังนี้:
- การจำแนกประเภทสั้นๆ ที่ $0.000055: ประมาณ 363,636 คำขอ
- พรอมต์ทดสอบมาตรฐานที่ $0.0004: 50,000 คำขอ
- เทิร์นแชทที่ $0.0008: 25,000 คำขอ
- การประมวลผลเอกสารยาวที่ $0.013: ประมาณ 1,538 คำขอ
สำหรับโปรเจกต์ส่วนตัวส่วนใหญ่ $20 คือการใช้งานหลายเดือน ตรวจสอบหน้า ราคา สำหรับตัวเลือกการเติมเงินปัจจุบันก่อนชำระเงิน
วิธีทำให้เครดิตฟรีใช้งานได้ยาวนานขึ้น
นิสัยไม่กี่อย่างช่วยลดบิลโดยไม่เปลี่ยนสิ่งที่แอปของคุณทำ
- ตัดประวัติออก โทเคนข้อมูลนำเข้าเป็นด้านที่ถูกกว่า แต่แชทที่ส่งคืนเทิร์นเก่า 20,000 โทเคนในข้อความทุกข้อความจะเพิ่มยอดรวมได้ สรุปหรือตัดเทิร์นเก่าออก
- จำกัดจำนวนโทเคนเอาต์พุตเมื่อจำเป็น
max_tokensเป็นค่าที่ไม่บังคับ แต่การตั้งค่าสำหรับงานสั้นๆ เช่น การจำแนกประเภท จะช่วยป้องกันไม่ให้คำตอบที่ยืดยาวทำให้คุณเสียค่าใช้จ่ายมากกว่าที่คาดไว้ถึงห้าเท่า - ใช้ลำดับหยุด พารามิเตอร์
stopจะหยุดการสร้างที่เครื่องหมายที่คุณเลือก - คงที่พรอมต์ไว้ระหว่างการทดสอบ พารามิเตอร์
seedช่วยให้คุณเปรียบเทียบผลลัพธ์จากพรอมต์เดียวกันได้ จึงไม่ต้องเสียเครดิตตามหาสัญญาณรบกวน - อ่านการใช้งานของคุณเอง บันทึกบล็อก
usageจากแต่ละการตอบกลับและคูณด้วยอัตราทั้งสอง ตัวช่วยขนาด 5 บรรทัดทำให้ต้นทุนมองเห็นได้ตั้งแต่วันแรก
IN_PER_M, OUT_PER_M = 0.15, 0.50
def cost_usd(usage):
return (usage.prompt_tokens * IN_PER_M
+ usage.completion_tokens * OUT_PER_M) / 1_000_000
# resp = client.chat.completions.create(...)
# print(f"${cost_usd(resp.usage):.6f}")หากคุณต้องการลองใช้กับเอนด์พอยต์จริง ให้ตั้งค่า URL ฐานเป็น https://api.nsfwvideogenerator.cc/v1 ใช้ ID โมเดล uncensored และส่งคีย์ของคุณเป็นโทเคน Bearer คู่มือเริ่มต้น มีตัวอย่างที่ใช้งานได้ใน Python, Node และ curl
ทางเลือกฟรีและเมื่อไหร่ที่ควรใช้
พูดตรงๆ ไปเลย: การทดลองใช้ไม่ใช่ทางเลือกเดียว โมเดลแบบเปิดน้ำหนักสามารถรันบนฮาร์ดแวร์ของคุณเองได้ ซึ่งไม่มีค่าธรรมเนียมต่อโทเคน แต่ต้องใช้เครื่องที่มีหน่วยความจำเพียงพอ และใช้เวลาของคุณในการติดตั้งและดูแลให้ทำงานต่อไป ผู้ให้บริการรายอื่นบางรายยังเสนอระดับบริการฟรี โดยมีขีดจำกัดอัตราและนโยบายเป็นของตัวเอง ดังนั้นควรตรวจสอบราคาและเงื่อนไขปัจจุบันของพวกเขาแทนที่จะเชื่อจากข้อมูลสรุป
เหตุผลที่ต้องใช้เอนด์พอยต์แบบเติมเงินล่วงหน้าแบบโฮสต์นั้นเรียบง่าย คุณจะได้โมเดลที่ปรับแต่งมาให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย อินเทอร์เฟซที่เข้ากันได้กับ OpenAI และราคาที่คุณสามารถคำนวณบนกระดาษทิชชู่ได้ ขีดจำกัดที่เข้มงวดยังคงมีอยู่: ไม่มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ บริการนี้รองรับเฉพาะข้อความ ดังนั้นจึงไม่สร้างภาพ เสียง หรือวิดีโอ และไม่รองรับ embeddings หรือ fine-tuning หากโปรเจกต์ของคุณเป็นสายงานข้อความ เช่น สคริปต์และพรอมต์สำหรับเครื่องมือต่อเนื่องที่อธิบายไว้ใน หน้า NSFW pipelines นั่นคือส่วนที่คุณต้องการพอดี
พรอมต์ไม่ถูกใช้ในการฝึกฝน ซึ่งเป็นสิ่งที่คุณควรรู้ก่อนที่จะวางเนื้อหาโปรเจกต์จริงลงใน API แบบโฮสต์ใดๆ
