전체 템플릿

batch-extract-sglang

SGLang으로 구조화된 추출

/v1/chat/completions(또는 /v1/completions) 요청으로 이루어진 OpenAI 배치 파일을 SGLang으로 실행하면서 모든 답변을 직접 제공한 하나의 JSON Schema로 제한하고, batch-infer-sglang과 같은 형식으로 요청마다 결과 한 줄을 기록합니다. 디코딩이 문법으로 유도되므로 max_tokens에 먼저 도달하지 않는 한 모든 답변은 파싱되고 스키마와 일치합니다. 파싱된 개수는 로그에 표시됩니다. 기본 모델은 Qwen3-4B-Instruct-2507(Apache-2.0)이며 시작할 때 Hugging Face에서 내려받습니다.

상태
사용 가능
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
기본 실행 시간
최대 1 h
게시자
Unify Compute

읽고 쓰는 항목

입력 /mnt/inrequests.jsonl이 들어 있는 디렉터리: 요청마다 OpenAI 배치 한 줄(url은 /v1/chat/completions 또는 /v1/completions). model 필드는 MODEL로, response_format은 스키마로 바뀝니다
입력 /mnt/schemaschema.json: 모든 답변이 일치해야 하는 JSON Schema
출력 /mnt/outresults.jsonl: 요청마다 OpenAI 배치 결과 한 줄(입력 순서, custom_id로 매칭). 각 답변의 내용은 schema.json과 일치하는 JSON 문서입니다

변경할 수 있는 항목

제출 시 설정할 수 있는 항목: GPU(SKU) (sku), 클라우드 배치 (providers), 환경 변수 (spec.env), 최대 실행 시간 (spec.max_runtime_seconds). 이미지와 선언된 입력 및 출력은 고정되어 있습니다. 이미지가 다르면 다른 템플릿입니다.

환경 변수 기본값
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
CONCURRENCY64

실행하기

키를 $UNIFY_KEY에 저장한 상태에서(빠른 시작 참고) 각 입력에 위 파일 이름으로 끝나는 https:// URL(공개 또는 사전 서명 URL)을 지정합니다.

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-extract-sglang",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      },
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/schema.json",
        "mount": "/mnt/schema"
      }
    ]
  }
}'

작업은 직접 작성한 작업과 마찬가지로 사용한 GPU 시간에 SKU 요금을 적용해 과금됩니다.

얼리 액세스

단계적 제공 기간에는 GPU 작업 실행을 계정별로 활성화합니다. 계정을 만든 다음 빠른 시작의 안내에 따라 활성화를 요청하세요.

이미지 출처

이미지lmsysorg/sglang:v0.5.19-cu129-runtime
다이제스트sha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41
라이선스Apache-2.0
출처https://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE)

실행되는 것은 다이제스트입니다. 태그는 다시 푸시될 수 있지만 다이제스트는 그렇지 않으므로, 작업은 검토된 바로 그 이미지를 가져옵니다.