전체 템플릿

batch-infer-lora

LoRA 어댑터로 채팅 완성 일괄 처리

/v1/chat/completions 요청으로 이루어진 OpenAI 배치 파일을 LoRA 어댑터(예: finetune-lora 작업이 생성한 adapter.tar.gz)를 적용한 vLLM으로 실행하고, batch-infer-vllm처럼 요청마다 결과 한 줄을 기록합니다. 기본 베이스 모델은 Qwen3-4B-Instruct-2507(Apache-2.0)이며, 어댑터는 같은 베이스 모델로 학습되어 있어야 합니다.

상태
사용 가능
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
기본 실행 시간
최대 1 h
게시자
Unify Compute

읽고 쓰는 항목

입력 /mnt/inrequests.jsonl: 요청마다 OpenAI 배치 한 줄(url은 /v1/chat/completions). model 필드는 무시되며 어댑터는 모든 줄에 적용됩니다
입력 /mnt/adapteradapter.tar.gz: finetune-lora가 기록하는 형식의 PEFT LoRA 어댑터 디렉터리(adapter_config.json, adapter_model.safetensors)
출력 /mnt/outresults.jsonl: 요청마다 OpenAI 배치 결과 한 줄(custom_id로 매칭, model = LORA_NAME)

변경할 수 있는 항목

제출 시 설정할 수 있는 항목: GPU(SKU) (sku), 클라우드 배치 (providers), 환경 변수 (spec.env), 최대 실행 시간 (spec.max_runtime_seconds). 이미지와 선언된 입력 및 출력은 고정되어 있습니다. 이미지가 다르면 다른 템플릿입니다.

환경 변수 기본값
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
MAX_LORA_RANK64
LORA_NAMElora

실행하기

키를 $UNIFY_KEY에 저장한 상태에서(빠른 시작 참고) 각 입력에 위 파일 이름으로 끝나는 https:// URL(공개 또는 사전 서명 URL)을 지정합니다.

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-lora",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      },
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
        "mount": "/mnt/adapter"
      }
    ]
  }
}'

작업은 직접 작성한 작업과 마찬가지로 사용한 GPU 시간에 SKU 요금을 적용해 과금됩니다.

얼리 액세스

단계적 제공 기간에는 GPU 작업 실행을 계정별로 활성화합니다. 계정을 만든 다음 빠른 시작의 안내에 따라 활성화를 요청하세요.

이미지 출처

이미지ghcr.io/felixsphere/unify-compute-finetune:finetune-2026-10-04
다이제스트sha256:6d426175dcd0e2443df6da9cf68e96c079abe5a8b80d9f488d09019536272ac1
라이선스Apache-2.0
출처ghcr.io/felixsphere/unify-compute-finetune, built by publish-image.yml run 37266527011 from main 150de552 (finetune/Dockerfile on vllm/vllm-openai:v0.30.0-cu129@sha256:a67f8f18…, Apache-2.0; adds TRL 1.14.1, PEFT 0.21.2, datasets 5.0.1, accelerate 1.15.0, jsonschema 4.26.0 and torchvision 0.29.0+cu130, removes torchaudio; linux/amd64 only; licences in THIRD-PARTY-LICENSES.md, Workload images)

실행되는 것은 다이제스트입니다. 태그는 다시 푸시될 수 있지만 다이제스트는 그렇지 않으므로, 작업은 검토된 바로 그 이미지를 가져옵니다.