Marketplace
Mẫu sẵn sàng để chạy
Mỗi mẫu gồm một image, một lệnh và một GPU đã được duyệt, gói dưới một tên. Trỏ mẫu tới dữ liệu của bạn và gửi bằng khóa của bạn. Bạn chỉ trả cho thời gian GPU mà tác vụ sử dụng.
7 mẫu · phát hành bởi Unify Compute
batch-embedSẵn cóEmbedding theo lô với vLLM
Tạo embedding cho một tệp batch OpenAI gồm các yêu cầu /v1/embeddings bằng trình chạy batch của vLLM và ghi một dòng kết quả cho mỗi yêu cầu.
- GPU
- NVIDIA A10G · 24 GB
- Thời gian chạy mặc định
- 1 h
batch-extract-sglangSẵn cóTrích xuất có cấu trúc với SGLang
Chạy một tệp batch OpenAI gồm các yêu cầu /v1/chat/completions (hoặc /v1/completions) qua SGLang, mọi câu trả lời đều bị ràng buộc theo một JSON Schema do bạn cung cấp, và ghi một dòng kết quả cho mỗi yêu cầu, cùng định dạng với batch-infer-sglang.
- GPU
- NVIDIA A10G · 24 GB
- Thời gian chạy mặc định
- 1 h
batch-infer-loraSẵn cóChat completion theo lô với LoRA adapter của bạn
Chạy một tệp batch OpenAI gồm các yêu cầu /v1/chat/completions qua vLLM với một LoRA adapter được áp dụng (ví dụ adapter.tar.gz do một tác vụ finetune-lora tạo ra) và ghi một dòng kết quả cho mỗi yêu cầu, giống batch-infer-vllm.
- GPU
- NVIDIA A10G · 24 GB
- Thời gian chạy mặc định
- 1 h
batch-infer-lora-sglangSẵn cóChat completion theo lô với LoRA adapter của bạn trên SGLang
batch-infer-lora trên SGLang: chạy một tệp batch OpenAI gồm các yêu cầu /v1/chat/completions (hoặc /v1/completions) với một LoRA adapter được áp dụng (ví dụ adapter.tar.gz do một tác vụ finetune-lora tạo ra) và ghi một dòng kết quả cho mỗi yêu cầu, với model = LORA_NAME.
- GPU
- NVIDIA A10G · 24 GB
- Thời gian chạy mặc định
- 1 h
batch-infer-sglangSẵn cóChat completion theo lô với SGLang
Chạy một tệp batch OpenAI gồm các yêu cầu /v1/chat/completions (hoặc /v1/completions) qua một máy chủ SGLang khởi động trong tác vụ và ghi một dòng kết quả cho mỗi yêu cầu, cùng định dạng với batch-infer-vllm.
- GPU
- NVIDIA A10G · 24 GB
- Thời gian chạy mặc định
- 1 h
batch-infer-vllmSẵn cóChat completion theo lô với vLLM
Chạy một tệp batch OpenAI gồm các yêu cầu /v1/chat/completions bằng trình chạy batch của vLLM và ghi một dòng kết quả cho mỗi yêu cầu.
- GPU
- NVIDIA A10G · 24 GB
- Thời gian chạy mặc định
- 1 h
finetune-loraSẵn cóTinh chỉnh LoRA kèm đánh giá
Quy trình tinh chỉnh tham chiếu: đường cơ sở zero-shot và 3-shot, một bước kiểm tra sẽ dừng nếu few-shot đã đủ tốt, LoRA SFT với TRL và PEFT, và một bước đánh giá với adapter.
- GPU
- NVIDIA A10G · 24 GB
- Thời gian chạy mặc định
- 2 h
GPUs
Chọn GPU phù hợp với tác vụ
| GPU | Bộ nhớ | vCPU · RAM | Phân hạng | Tính phí | Trạng thái |
|---|---|---|---|---|---|
NVIDIA A10Ga10g-24gb-x1 | 24 GB | 4 · 16 GB | Hyperscaler | Theo nhu cầu | Sẵn có |
NVIDIA A100 80GBa100-80gb-x1-neo | 80 GB | 30 · 200 GB | Neocloud | Theo nhu cầu | Sắp ra mắt |
NVIDIA A10Ga10g-24gb-x1-spot | 24 GB | 4 · 16 GB | Hyperscaler | Spot | Sắp ra mắt |
NVIDIA L4l4-24gb-x1 | 24 GB | 4 · 16 GB | Hyperscaler | Theo nhu cầu | Sắp ra mắt |
Để chạy một mẫu, bạn cần tài khoản đã bật thực thi tác vụ GPU. Trong giai đoạn mở dần, tính năng này được bật theo từng tài khoản; mục bắt đầu nhanh hướng dẫn cách đề nghị.