batch-infer-lora-sglang
SGLang과 LoRA 어댑터로 채팅 완성 일괄 처리
SGLang판 batch-infer-lora: /v1/chat/completions(또는 /v1/completions) 요청으로 이루어진 OpenAI 배치 파일을 LoRA 어댑터(예: finetune-lora 작업이 생성한 adapter.tar.gz)를 적용해 실행하고, 요청마다 결과 한 줄을 기록합니다(model은 LORA_NAME). batch-infer-sglang과 마찬가지로 공유되는 프롬프트 접두사는 프리필을 한 번만 합니다. 기본 베이스 모델은 Qwen3-4B-Instruct-2507(Apache-2.0)이며, 어댑터는 같은 베이스 모델로 학습되어 있어야 합니다.
- 상태
- 사용 가능
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - 기본 실행 시간
- 최대 1 h
- 게시자
- Unify Compute
읽고 쓰는 항목
입력 /mnt/in | requests.jsonl: 요청마다 OpenAI 배치 한 줄(url은 /v1/chat/completions 또는 /v1/completions). model 필드는 무시되고 어댑터는 모든 줄에 적용됩니다 |
|---|---|
입력 /mnt/adapter | adapter.tar.gz: finetune-lora가 기록하는 형식의 PEFT LoRA 어댑터 디렉터리(adapter_config.json, adapter_model.safetensors) |
출력 /mnt/out | results.jsonl: 요청마다 OpenAI 배치 결과 한 줄(입력 순서, custom_id로 매칭, model은 LORA_NAME). SGLang이 응답하지 못한 줄에는 response 대신 error가 들어갑니다 |
변경할 수 있는 항목
제출 시 설정할 수 있는 항목: GPU(SKU) (sku), 클라우드 배치 (providers), 환경 변수 (spec.env), 최대 실행 시간 (spec.max_runtime_seconds). 이미지와 선언된 입력 및 출력은 고정되어 있습니다. 이미지가 다르면 다른 템플릿입니다.
MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
MODEL_REVISION | cdbee75f17c01a7cc42f958dc650907174af0554 |
MAX_MODEL_LEN | 8192 |
MAX_LORA_RANK | 64 |
LORA_NAME | lora |
CONCURRENCY | 64 |
실행하기
키를 $UNIFY_KEY에 저장한 상태에서(빠른 시작 참고) 각 입력에 위 파일 이름으로 끝나는 https:// URL(공개 또는 사전 서명 URL)을 지정합니다.
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "batch-infer-lora-sglang",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
"mount": "/mnt/in"
},
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
"mount": "/mnt/adapter"
}
]
}
}'작업은 직접 작성한 작업과 마찬가지로 사용한 GPU 시간에 SKU 요금을 적용해 과금됩니다.
이미지 출처
| 이미지 | lmsysorg/sglang:v0.5.19-cu129-runtime |
|---|---|
| 다이제스트 | sha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41 |
| 라이선스 | Apache-2.0 |
| 출처 | https://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE) |
실행되는 것은 다이제스트입니다. 태그는 다시 푸시될 수 있지만 다이제스트는 그렇지 않으므로, 작업은 검토된 바로 그 이미지를 가져옵니다.