전체 템플릿

batch-infer-sglang

SGLang으로 채팅 완성 일괄 처리

/v1/chat/completions(또는 /v1/completions) 요청으로 이루어진 OpenAI 배치 파일을 작업 안에서 시작한 SGLang 서버로 실행하고, batch-infer-vllm과 같은 형식으로 요청마다 결과 한 줄을 기록합니다. SGLang의 RadixAttention은 각 줄이 공유하는 접두사의 KV 캐시를 재사용하므로, 긴 시스템 프롬프트나 few-shot 블록을 공유하는 배치는 그 부분의 프리필을 한 번만 합니다. 기본 모델은 Qwen3-4B-Instruct-2507(Apache-2.0)이며 시작할 때 Hugging Face에서 내려받습니다.

상태
사용 가능
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
기본 실행 시간
최대 1 h
게시자
Unify Compute

읽고 쓰는 항목

입력 /mnt/inrequests.jsonl이 들어 있는 디렉터리: 요청마다 OpenAI 배치 한 줄(url은 /v1/chat/completions 또는 /v1/completions). model 필드는 MODEL로 바뀝니다
출력 /mnt/outresults.jsonl: 요청마다 OpenAI 배치 결과 한 줄(입력 순서, custom_id로 매칭). SGLang이 응답하지 못한 줄에는 response 대신 error가 들어갑니다

변경할 수 있는 항목

제출 시 설정할 수 있는 항목: GPU(SKU) (sku), 클라우드 배치 (providers), 환경 변수 (spec.env), 최대 실행 시간 (spec.max_runtime_seconds). 이미지와 선언된 입력 및 출력은 고정되어 있습니다. 이미지가 다르면 다른 템플릿입니다.

환경 변수 기본값
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
CONCURRENCY64

실행하기

키를 $UNIFY_KEY에 저장한 상태에서(빠른 시작 참고) 각 입력에 위 파일 이름으로 끝나는 https:// URL(공개 또는 사전 서명 URL)을 지정합니다.

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-sglang",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      }
    ]
  }
}'

작업은 직접 작성한 작업과 마찬가지로 사용한 GPU 시간에 SKU 요금을 적용해 과금됩니다.

얼리 액세스

단계적 제공 기간에는 GPU 작업 실행을 계정별로 활성화합니다. 계정을 만든 다음 빠른 시작의 안내에 따라 활성화를 요청하세요.

이미지 출처

이미지lmsysorg/sglang:v0.5.19-cu129-runtime
다이제스트sha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41
라이선스Apache-2.0
출처https://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE)

실행되는 것은 다이제스트입니다. 태그는 다시 푸시될 수 있지만 다이제스트는 그렇지 않으므로, 작업은 검토된 바로 그 이미지를 가져옵니다.