範本市集
即開即用的範本
每個範本都將經過審查的映像檔、指令和 GPU 歸在同一個名稱下。將它指向你的資料,以你的金鑰提交即可。你只需為工作實際使用的 GPU 時間付費。
7 個範本 · 發布者:Unify Compute
batch-embed可用使用 vLLM 批次產生嵌入向量
使用 vLLM 的批次執行器,為由 /v1/embeddings 請求組成的 OpenAI 批次檔產生嵌入向量,每個請求寫出一行結果。
- GPU
- NVIDIA A10G · 24 GB
- 預設執行時間
- 1 h
batch-extract-sglang可用使用 SGLang 進行結構化擷取
透過 SGLang 執行由 /v1/chat/completions(或 /v1/completions)請求組成的 OpenAI 批次檔,每個回答都受你提供的同一個 JSON Schema 約束,並以與 batch-infer-sglang 相同的格式為每個請求寫出一行結果。
- GPU
- NVIDIA A10G · 24 GB
- 預設執行時間
- 1 h
batch-infer-lora可用使用你的 LoRA 轉接器批次產生對話補全
在套用 LoRA 轉接器(例如 finetune-lora 工作產出的 adapter.tar.gz)的情況下,透過 vLLM 執行由 /v1/chat/completions 請求組成的 OpenAI 批次檔,並像 batch-infer-vllm 一樣為每個請求寫出一行結果。
- GPU
- NVIDIA A10G · 24 GB
- 預設執行時間
- 1 h
batch-infer-lora-sglang可用使用 SGLang 和你的 LoRA 轉接器批次產生對話補全
SGLang 版的 batch-infer-lora:在套用 LoRA 轉接器(例如 finetune-lora 工作產出的 adapter.tar.gz)的情況下,執行由 /v1/chat/completions(或 /v1/completions)請求組成的 OpenAI 批次檔,並為每個請求寫出一行結果,model 為 LORA_NAME。
- GPU
- NVIDIA A10G · 24 GB
- 預設執行時間
- 1 h
batch-infer-sglang可用使用 SGLang 批次產生對話補全
透過在工作內啟動的 SGLang 伺服器執行由 /v1/chat/completions(或 /v1/completions)請求組成的 OpenAI 批次檔,並以與 batch-infer-vllm 相同的格式為每個請求寫出一行結果。
- GPU
- NVIDIA A10G · 24 GB
- 預設執行時間
- 1 h
batch-infer-vllm可用使用 vLLM 批次產生對話補全
透過 vLLM 的批次執行器執行由 /v1/chat/completions 請求組成的 OpenAI 批次檔,每個請求寫出一行結果。
- GPU
- NVIDIA A10G · 24 GB
- 預設執行時間
- 1 h
finetune-lora可用含評估的 LoRA 微調
參考微調流程:零樣本與 3 樣本基準;若少樣本效果已足夠便停止的關卡;使用 TRL 和 PEFT 的 LoRA SFT;以及搭配轉接器的評估。
- GPU
- NVIDIA A10G · 24 GB
- 預設執行時間
- 2 h
GPUs
為工作選擇 GPU
| GPU | 記憶體 | vCPU · RAM | 層級 | 計費方式 | 狀態 |
|---|---|---|---|---|---|
NVIDIA A10Ga10g-24gb-x1 | 24 GB | 4 · 16 GB | 超大規模雲端 | 隨需 | 可用 |
NVIDIA A100 80GBa100-80gb-x1-neo | 80 GB | 30 · 200 GB | 新興雲端 | 隨需 | 即將推出 |
NVIDIA A10Ga10g-24gb-x1-spot | 24 GB | 4 · 16 GB | 超大規模雲端 | 競價 | 即將推出 |
NVIDIA L4l4-24gb-x1 | 24 GB | 4 · 16 GB | 超大規模雲端 | 隨需 | 即將推出 |
執行範本需要一個已開通 GPU 工作執行的帳號。在逐步開放期間依帳號開通;申請方式請參閱快速入門。