batch-infer-lora
使用你的 LoRA 轉接器批次產生對話補全
在套用 LoRA 轉接器(例如 finetune-lora 工作產出的 adapter.tar.gz)的情況下,透過 vLLM 執行由 /v1/chat/completions 請求組成的 OpenAI 批次檔,並像 batch-infer-vllm 一樣為每個請求寫出一行結果。預設基礎模型為 Qwen3-4B-Instruct-2507(Apache-2.0);轉接器必須以同一個基礎模型訓練。
- 狀態
- 可用
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - 預設執行時間
- 最長 1 h
- 發布者
- Unify Compute
讀取和寫入的內容
輸入 /mnt/in | requests.jsonl:每個請求一行 OpenAI 批次紀錄,url 為 /v1/chat/completions;model 欄位會被忽略,轉接器套用於每一行 |
|---|---|
輸入 /mnt/adapter | adapter.tar.gz:一個 PEFT LoRA 轉接器目錄(adapter_config.json、adapter_model.safetensors),格式與 finetune-lora 寫出的相同 |
輸出 /mnt/out | results.jsonl:每個請求一行 OpenAI 批次結果,以 custom_id 對應,model = LORA_NAME |
可以變更的內容
提交時可以設定:GPU(SKU) (sku)、雲端部署位置 (providers)、環境變數 (spec.env)、最長執行時間 (spec.max_runtime_seconds)。映像檔以及宣告的輸入和輸出是固定的:換一個映像檔就是另一個範本。
MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
MODEL_REVISION | cdbee75f17c01a7cc42f958dc650907174af0554 |
MAX_MODEL_LEN | 8192 |
MAX_LORA_RANK | 64 |
LORA_NAME | lora |
執行
將金鑰存放在 $UNIFY_KEY 中(請參閱快速入門),為每個輸入提供一個 https:// URL(公開或預先簽署皆可),並以上方列出的檔名結尾:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "batch-infer-lora",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
"mount": "/mnt/in"
},
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
"mount": "/mnt/adapter"
}
]
}
}'工作依其使用的 GPU 時間、以該 SKU 的費率計費,與你自己撰寫的工作相同。
映像檔來源
| 映像檔 | ghcr.io/felixsphere/unify-compute-finetune:finetune-2026-10-04 |
|---|---|
| 摘要值 | sha256:6d426175dcd0e2443df6da9cf68e96c079abe5a8b80d9f488d09019536272ac1 |
| 授權 | Apache-2.0 |
| 來源 | ghcr.io/felixsphere/unify-compute-finetune, built by publish-image.yml run 37266527011 from main 150de552 (finetune/Dockerfile on vllm/vllm-openai:v0.30.0-cu129@sha256:a67f8f18…, Apache-2.0; adds TRL 1.14.1, PEFT 0.21.2, datasets 5.0.1, accelerate 1.15.0, jsonschema 4.26.0 and torchvision 0.29.0+cu130, removes torchaudio; linux/amd64 only; licences in THIRD-PARTY-LICENSES.md, Workload images) |
實際執行的是摘要值。標籤可以重新推送,摘要值不行,因此你的工作拉取的正是經過審查的版本。