전체 템플릿

batch-infer-vllm

vLLM으로 채팅 완성 일괄 처리

/v1/chat/completions 요청으로 이루어진 OpenAI 배치 파일을 vLLM의 배치 러너로 실행하고, 요청마다 결과 한 줄을 기록합니다. 기본 모델은 Qwen3-4B-Instruct-2507(Apache-2.0)이며 시작할 때 Hugging Face에서 다운로드합니다.

상태
사용 가능
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
기본 실행 시간
최대 1 h
게시자
Unify Compute

읽고 쓰는 항목

입력 /mnt/inrequests.jsonl이 들어 있는 디렉터리: 요청마다 OpenAI 배치 한 줄(url은 /v1/chat/completions)
출력 /mnt/outresults.jsonl: 요청마다 OpenAI 배치 결과 한 줄(custom_id로 매칭)

변경할 수 있는 항목

제출 시 설정할 수 있는 항목: GPU(SKU) (sku), 클라우드 배치 (providers), 환경 변수 (spec.env), 최대 실행 시간 (spec.max_runtime_seconds). 이미지와 선언된 입력 및 출력은 고정되어 있습니다. 이미지가 다르면 다른 템플릿입니다.

환경 변수 기본값
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192

실행하기

키를 $UNIFY_KEY에 저장한 상태에서(빠른 시작 참고) 각 입력에 위 파일 이름으로 끝나는 https:// URL(공개 또는 사전 서명 URL)을 지정합니다.

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-vllm",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      }
    ]
  }
}'

작업은 직접 작성한 작업과 마찬가지로 사용한 GPU 시간에 SKU 요금을 적용해 과금됩니다.

얼리 액세스

단계적 제공 기간에는 GPU 작업 실행을 계정별로 활성화합니다. 계정을 만든 다음 빠른 시작의 안내에 따라 활성화를 요청하세요.

이미지 출처

이미지vllm/vllm-openai:v0.30.0-cu129
다이제스트sha256:a67f8f186d4567612ac37a55bd82295006002b18858eb12a8af2f05f86c2ae3f
라이선스Apache-2.0
출처https://hub.docker.com/r/vllm/vllm-openai (tag v0.30.0-cu129, pushed 2026-09-22; Dockerfile at github.com/vllm-project/vllm/blob/v0.30.0/docker/Dockerfile)

실행되는 것은 다이제스트입니다. 태그는 다시 푸시될 수 있지만 다이제스트는 그렇지 않으므로, 작업은 검토된 바로 그 이미지를 가져옵니다.