全部模板

batch-infer-lora-sglang

使用 SGLang 和你的 LoRA 适配器批量生成对话补全

SGLang 版的 batch-infer-lora:在应用 LoRA 适配器(例如 finetune-lora 任务产出的 adapter.tar.gz)的情况下,运行一个由 /v1/chat/completions(或 /v1/completions)请求组成的 OpenAI 批处理文件,并为每个请求写出一行结果,model 为 LORA_NAME。与 batch-infer-sglang 一样,共享的提示词前缀只预填充一次。默认基础模型为 Qwen3-4B-Instruct-2507(Apache-2.0);适配器必须基于同一基础模型训练。

状态
可用
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
默认运行时长
最长 1 h
发布者
Unify Compute

读取和写入的内容

输入 /mnt/inrequests.jsonl:每个请求一行 OpenAI 批处理记录,url 为 /v1/chat/completions 或 /v1/completions;model 字段会被忽略,适配器作用于每一行
输入 /mnt/adapteradapter.tar.gz:一个 PEFT LoRA 适配器目录(adapter_config.json、adapter_model.safetensors),与 finetune-lora 写出的格式相同
输出 /mnt/outresults.jsonl:每个请求一行 OpenAI 批处理结果,按输入顺序排列,按 custom_id 对应,model 为 LORA_NAME;SGLang 无法响应的行带有 error 而不是 response

可以修改的内容

提交时可以设置:GPU(SKU) (sku)、云端部署位置 (providers)、环境变量 (spec.env)、最长运行时间 (spec.max_runtime_seconds)。镜像以及声明的输入和输出是固定的:换一个镜像就是另一个模板。

环境变量默认值
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
MAX_LORA_RANK64
LORA_NAMElora
CONCURRENCY64

运行

将密钥保存在 $UNIFY_KEY 中(参见快速入门),为每个输入提供一个 https:// URL(公开或预签名均可),且以上面列出的文件名结尾:

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-lora-sglang",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      },
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
        "mount": "/mnt/adapter"
      }
    ]
  }
}'

任务按其使用的 GPU 时间、以该 SKU 的费率计费,与你自己编写的任务相同。

抢先体验

在逐步开放期间,GPU 任务执行按账号开通。请先创建账号,再按快速入门中的说明请我们为你开通。

镜像来源

镜像lmsysorg/sglang:v0.5.19-cu129-runtime
摘要值sha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41
许可证Apache-2.0
来源https://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE)

实际运行的是摘要值。标签可以被重新推送,摘要值不能,因此你的任务拉取的正是经过审核的版本。