batch-infer-sglang
使用 SGLang 批量生成对话补全
通过在任务内启动的 SGLang 服务器运行一个由 /v1/chat/completions(或 /v1/completions)请求组成的 OpenAI 批处理文件,并以与 batch-infer-vllm 相同的格式为每个请求写出一行结果。SGLang 的 RadixAttention 会复用各行共享前缀的 KV 缓存,因此一个带有同一段长系统提示词或 few-shot 示例的批次只需对这部分做一次预填充。默认模型为 Qwen3-4B-Instruct-2507(Apache-2.0),启动时从 Hugging Face 下载。
- 状态
- 可用
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - 默认运行时长
- 最长 1 h
- 发布者
- Unify Compute
读取和写入的内容
输入 /mnt/in | 包含 requests.jsonl 的目录:每个请求一行 OpenAI 批处理记录,url 为 /v1/chat/completions 或 /v1/completions;model 字段会被替换为 MODEL |
|---|---|
输出 /mnt/out | results.jsonl:每个请求一行 OpenAI 批处理结果,按输入顺序排列,按 custom_id 对应;SGLang 无法响应的行带有 error 而不是 response |
可以修改的内容
提交时可以设置:GPU(SKU) (sku)、云端部署位置 (providers)、环境变量 (spec.env)、最长运行时间 (spec.max_runtime_seconds)。镜像以及声明的输入和输出是固定的:换一个镜像就是另一个模板。
MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
MODEL_REVISION | cdbee75f17c01a7cc42f958dc650907174af0554 |
MAX_MODEL_LEN | 8192 |
CONCURRENCY | 64 |
运行
将密钥保存在 $UNIFY_KEY 中(参见快速入门),为每个输入提供一个 https:// URL(公开或预签名均可),且以上面列出的文件名结尾:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "batch-infer-sglang",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
"mount": "/mnt/in"
}
]
}
}'任务按其使用的 GPU 时间、以该 SKU 的费率计费,与你自己编写的任务相同。
镜像来源
| 镜像 | lmsysorg/sglang:v0.5.19-cu129-runtime |
|---|---|
| 摘要值 | sha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41 |
| 许可证 | Apache-2.0 |
| 来源 | https://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE) |
实际运行的是摘要值。标签可以被重新推送,摘要值不能,因此你的任务拉取的正是经过审核的版本。