所有範本

batch-infer-lora-sglang

使用 SGLang 和你的 LoRA 轉接器批次產生對話補全

SGLang 版的 batch-infer-lora:在套用 LoRA 轉接器(例如 finetune-lora 工作產出的 adapter.tar.gz)的情況下,執行由 /v1/chat/completions(或 /v1/completions)請求組成的 OpenAI 批次檔,並為每個請求寫出一行結果,model 為 LORA_NAME。與 batch-infer-sglang 相同,共用的提示詞前綴只預填一次。預設基礎模型為 Qwen3-4B-Instruct-2507(Apache-2.0);轉接器必須以同一個基礎模型訓練。

狀態
可用
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
預設執行時間
最長 1 h
發布者
Unify Compute

讀取和寫入的內容

輸入 /mnt/inrequests.jsonl:每個請求一行 OpenAI 批次紀錄,url 為 /v1/chat/completions 或 /v1/completions;model 欄位會被忽略,轉接器套用於每一行
輸入 /mnt/adapteradapter.tar.gz:一個 PEFT LoRA 轉接器目錄(adapter_config.json、adapter_model.safetensors),格式與 finetune-lora 寫出的相同
輸出 /mnt/outresults.jsonl:每個請求一行 OpenAI 批次結果,依輸入順序排列,以 custom_id 對應,model 為 LORA_NAME;SGLang 無法回應的行帶有 error 而非 response

可以變更的內容

提交時可以設定:GPU(SKU) (sku)、雲端部署位置 (providers)、環境變數 (spec.env)、最長執行時間 (spec.max_runtime_seconds)。映像檔以及宣告的輸入和輸出是固定的:換一個映像檔就是另一個範本。

環境變數預設值
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
MAX_LORA_RANK64
LORA_NAMElora
CONCURRENCY64

執行

將金鑰存放在 $UNIFY_KEY 中(請參閱快速入門),為每個輸入提供一個 https:// URL(公開或預先簽署皆可),並以上方列出的檔名結尾:

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-lora-sglang",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      },
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
        "mount": "/mnt/adapter"
      }
    ]
  }
}'

工作依其使用的 GPU 時間、以該 SKU 的費率計費,與你自己撰寫的工作相同。

搶先體驗

在逐步開放期間,GPU 工作執行依帳號開通。請先建立帳號,再依快速入門的說明請我們為你開通。

映像檔來源

映像檔lmsysorg/sglang:v0.5.19-cu129-runtime
摘要值sha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41
授權Apache-2.0
來源https://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE)

實際執行的是摘要值。標籤可以重新推送,摘要值不行,因此你的工作拉取的正是經過審查的版本。