Câu trả lời ngắn gọn
Nếu bạn muốn truy cập API LLM miễn phí không giới hạn và không hóa đơn, đây không phải dịch vụ đó và bạn nên nghi ngờ bất kỳ ai hứa hẹn điều đó. Chạy một mô hình ngôn ngữ lớn tốn tiền thật cho thời gian GPU, vì vậy một endpoint được lưu trữ hoặc tính phí theo token, giới hạn cứng hoặc tự trả phí theo cách khác. API này cung cấp phần dùng thử: sau khi đăng ký, bạn nhận $0.50 tín dụng chỉ với một cú nhấp chuột trên trang khóa API. Mỗi người một lần, có hiệu lực trong 7 ngày và bạn không phải trả gì để nhận nó.
Sau đó, mô hình hoạt động theo hình thức trả tiền khi sử dụng. Bạn mua tín dụng trả trước, sử dụng nó với giá $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra, và không có phí hàng tháng nào chờ đợi bạn. Vì tỷ lệ theo token thấp, $0.50 đi được xa hơn vẻ bề ngoài. Các phần dưới đây đưa ra các con số thực tế để bạn quyết định phần dùng thử có đủ cho bài kiểm tra của bạn không và chi phí thực tế cho một tải trọng thực sự là bao nhiêu khi không còn dùng thử.
Endpoint tương thích với OpenAI, vì vậy việc thử nghiệm chỉ yêu cầu thay đổi base URL và khóa trong mã bạn đã có. Bạn có thể đọc chi tiết thiết lập trên trang hướng dẫn nhanh, và bảng giá có trên trang giá cả.
$0.50 tín dụng dùng thử mua được gì
Giá token được tính cho mỗi triệu, điều này khó cảm nhận. Một cách đơn giản hơn là định giá một yêu cầu, sau đó chia. Một token là một vài ký tự văn bản, vì vậy 1.000 token xấp xỉ một trang văn xuôi đơn giản. Hãy lấy một yêu cầu với 1.000 token đầu vào và 500 token đầu ra:
- Đầu vào: 1.000 token x $0.15 / 1.000.000 = $0.00015
- Đầu ra: 500 token x $0,50 / 1.000.000 = $0,00025
- Tổng cộng: $0.0004 cho mỗi yêu cầu
Chia phần dùng thử cho số đó: $0.50 / $0.0004 = 1.250 yêu cầu. Điều đó đủ để xây dựng nguyên mẫu, chạy vài trăm prompt thử nghiệm và vẫn còn tín dụng cho bản demo. Bảng dưới đây hiển thị cùng phép tính cho bốn hình dạng yêu cầu phổ biến.
| Định dạng yêu cầu | Token đầu vào / đầu ra | Chi phí mỗi yêu cầu | Yêu cầu trong $0.50 |
|---|---|---|---|
| Phân loại ngắn | 300 / 20 | $0.000055 | khoảng 9.090 |
| Prompt thử nghiệm tiêu chuẩn | 1,000 / 500 | $0.0004 | 1,250 |
| Lượt trò chuyện có lịch sử | 3,000 / 700 | $0.0008 | 625 |
| Xử lý tài liệu dài | 80,000 / 2,000 | $0.013 | 38 |
Hàng xử lý tài liệu dài cho thấy nơi phần dùng thử cạn nhanh: các prompt lớn. Điền đầy cửa sổ ngữ cảnh 100.000 token chỉ với đầu vào tốn 100.000 x $0.15 / 1.000.000 = $0.015, vì vậy phần dùng thử sẽ bao gồm khoảng 33 yêu cầu kích thước đó trước khi bạn thậm chí tính đến câu trả lời.
Giới hạn dùng thử bạn nên biết
Khóa dùng thử được thiết kế nhỏ hơn khóa đầy đủ. Nó cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút, so với 8 đồng thời và 300 mỗi phút trên khóa đầy đủ. Đối với kiểm tra thủ công và một script đơn lẻ thì điều này là đủ. Nó sẽ gây khó khăn nếu bạn chỉ định một tác vụ batch với nhiều worker vào đó.
Khi bạn vượt quá giới hạn, API trả về HTTP 429. Mã lỗi là rate_limited khi bạn vượt quá yêu cầu mỗi phút và concurrency khi quá nhiều yêu cầu đang được xử lý cùng lúc. Streaming rất quan trọng ở đây: một yêu cầu streaming giữ slot độ đồng thời của nó cho đến khi stream kết thúc, vì vậy hai stream dài có thể chặn một yêu cầu thứ ba ngay cả khi bạn ở xa dưới 60 mỗi phút. Nếu bạn thấy lỗi concurrency trên khóa dùng thử, hãy giảm số worker của bạn xuống 2.
Phần dùng thử kéo dài 7 ngày kể từ khi nhận phần dùng thử, vì vậy hãy nhận nó khi bạn sẵn sàng kiểm thử, không phải khi bạn tạo tài khoản lần đầu. Đăng ký hoạt động với Google hoặc với email và mật khẩu, và nút nhận phần dùng thử nằm trên trang khóa API.
Chi phí của một khối lượng công việc thực tế sau phần dùng thử
Ba ví dụ với phép tính được viết ra, để bạn có thể thay thế bằng số của riêng mình.
Ứng dụng chat có lịch sử
Mỗi lượt gửi khoảng 3.000 token của prompt hệ thống và lịch sử và nhận lại 700 token. Điều đó tốn 3.000 x $0.15 / 1M = $0.00045 cho đầu vào cộng 700 x $0.50 / 1M = $0.00035 cho đầu ra, vậy $0.0008 cho mỗi tin nhắn. Một nghìn tin nhắn tốn $0.80. Một người dùng gửi 40 tin nhắn mỗi ngày tốn cho bạn $0.032 một ngày, khoảng $0.96 trong một tháng 30 ngày.
Một công việc hàng loạt
Giả sử bạn xử lý 10.000 bản ghi, mỗi bản ghi có 1.500 token đầu vào và 300 token đầu ra. Đầu vào là 15.000.000 token, tức là 15 x $0.15 = $2.25. Đầu ra là 3.000.000 token, tức là 3 x $0.50 = $1.50. Toàn bộ quá trình chạy là $3.75. Lưu ý rằng đầu ra chỉ bằng một phần sáu số token ở đây nhưng chiếm 40% hóa đơn, vì đầu ra tốn nhiều hơn ba lần mỗi token so với đầu vào.
Phân tích ngữ cảnh dài
Đọc một tài liệu 80.000 token và viết một tóm tắt 2.000 token tốn $0,012 cho đầu vào và $0,001 cho đầu ra, vậy $0,013. Chạy nó trên 100 tài liệu và bạn đã chi $1,30.
Các yêu cầu thất bại hoặc bị từ chối không bị tính phí, vì vậy một yêu cầu bị lỗi không làm giảm các tổng này. Mọi phản hồi đều có tiêu đề X-Balance-USD, cho phép bạn theo dõi số dư còn lại từ mã của riêng mình thay vì đoán mò.
Một lần nạp $20 bao gồm những gì
Nạp tiền tối thiểu là $20 và bạn có thể thêm bất kỳ số nguyên nào lên đến $500. Các khoản nạp lớn hơn có thưởng: +5% từ $50, +10% từ $100 và +15% từ $200. Trên thực tế, điều đó có nghĩa là $50 cho bạn $52,50 tín dụng, $100 cho $110 và $200 cho $230. Thanh toán chỉ bằng crypto, USDT trên TRC20 hoặc USDC trên Base và tín dụng không bao giờ hết hạn, vì vậy không có áp lực phải chi tiêu nó trong một tháng.
Ở mức $20 không có thưởng, bốn hình dạng yêu cầu từ bảng hoạt động như sau:
- Phân loại ngắn ở $0,000055: khoảng 363.636 yêu cầu
- Prompt thử nghiệm tiêu chuẩn ở $0,0004: 50.000 yêu cầu
- Lượt chat ở $0,0008: 25.000 yêu cầu
- Xử lý tài liệu dài ở $0,013: khoảng 1.538 yêu cầu
Đối với hầu hết các dự án phụ, $20 là nhiều tháng sử dụng. Kiểm tra trang giá cả để biết các tùy chọn nạp tiền hiện tại trước khi bạn thanh toán.
Cách kéo dài tín dụng miễn phí xa hơn
Một vài thói quen cắt hóa đơn mà không thay đổi những gì ứng dụng của bạn làm.
- Cắt giảm lịch sử. Token đầu vào là phía rẻ, nhưng một cuộc trò chuyện gửi lại 20.000 token của các lượt cũ trên mỗi tin nhắn sẽ cộng dồn. Tóm tắt hoặc loại bỏ các lượt cũ.
- Giới hạn đầu ra khi phù hợp.
max_tokenslà tùy chọn, nhưng việc đặt nó cho các tác vụ ngắn như phân loại sẽ ngăn một câu trả lời dài dòng tốn gấp năm lần những gì bạn mong đợi. - Sử dụng trình tự dừng. Tham số
stopkết thúc quá trình tạo tại một dấu hiệu bạn chọn. - Giữ prompt ổn định khi thử nghiệm. Tham số
seedgiúp bạn so sánh các lần chạy cùng prompt, để không lãng phí tín dụng khi đuổi theo nhiễu. - Theo dõi việc sử dụng của chính bạn. Ghi lại khối
usagetừ mỗi phản hồi và nhân nó với hai tỷ lệ. Một hàm trợ giúp năm dòng giúp hiển thị chi phí từ ngày đầu tiên.
IN_PER_M, OUT_PER_M = 0.15, 0.50
def cost_usd(usage):
return (usage.prompt_tokens * IN_PER_M
+ usage.completion_tokens * OUT_PER_M) / 1_000_000
# resp = client.chat.completions.create(...)
# print(f"${cost_usd(resp.usage):.6f}")Nếu bạn muốn thử nghiệm điều này với endpoint thực, hãy đặt base URL thành https://api.nsfwvideogenerator.cc/v1, sử dụng model ID uncensored và gửi khóa của bạn dưới dạng token Bearer. quickstart có một ví dụ hoạt động trong Python, Node và curl.
Các tùy chọn miễn phí khác và khi nào chúng phù hợp
Thẳng thắn về điều này: phần dùng thử không phải là con đường duy nhất. Các mô hình open-weight có thể được chạy trên phần cứng của riêng bạn, điều này không có phí theo token nhưng cần một máy có đủ bộ nhớ và thời gian của bạn để thiết lập và duy trì nó. Một số nhà cung cấp cũng quảng cáo các gói miễn phí, với các giới hạn tốc độ và chính sách của riêng họ, vì vậy hãy kiểm tra giá cả và điều kiện hiện tại của họ thay vì tin tưởng vào bản tóm tắt.
Lý do sử dụng một endpoint trả trước được lưu trữ là đơn giản. Bạn nhận được một mô hình được tinh chỉnh để trả lời mà không từ chối nội dung cho việc sử dụng người trưởng thành hợp pháp, một giao diện tương thích OpenAI ổn định và một giá bạn có thể tính toán trên một tờ giấy ăn. Giới hạn cứng vẫn có hiệu lực: không có nội dung tình dục liên quan đến người chưa thành niên. Dịch vụ chỉ dành cho văn bản, vì vậy nó sẽ không tạo hình ảnh, âm thanh hoặc video và nó không cung cấp embeddings hoặc fine-tuning. Nếu dự án của bạn là một pipeline văn bản, chẳng hạn như các script và prompt cho các công cụ downstream được mô tả trên trang NSFW pipelines, đó chính là phần bạn cần.
Prompt không được sử dụng để huấn luyện, điều này đáng biết trước khi bạn dán tài liệu dự án thực sự vào bất kỳ API được lưu trữ nào.
