Todos os templates

batch-infer-lora-sglang

Chat completions em lote com seu adaptador LoRA no SGLang

batch-infer-lora no SGLang: processa um arquivo de lote da OpenAI com requisições /v1/chat/completions (ou /v1/completions) com um adaptador LoRA aplicado (por exemplo, o adapter.tar.gz gerado por um job finetune-lora) e grava uma linha de resultado por requisição, com model = LORA_NAME. Prefixos de prompt compartilhados passam pelo prefill uma única vez, como no batch-infer-sglang. Modelo base padrão: Qwen3-4B-Instruct-2507 (Apache-2.0); o adaptador precisa ter sido treinado sobre a mesma base.

Status
Disponível
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
Tempo de execução padrão
1 h no máximo
Publicador
Unify Compute

O que ele lê e grava

Entrada /mnt/inrequests.jsonl: uma linha de lote da OpenAI por requisição, com url /v1/chat/completions ou /v1/completions; o campo model é ignorado e o adaptador vale para todas as linhas
Entrada /mnt/adapteradapter.tar.gz: um diretório de adaptador PEFT LoRA (adapter_config.json, adapter_model.safetensors), no formato que o finetune-lora grava
Saída /mnt/outresults.jsonl: uma linha de resultado de lote da OpenAI por requisição, na ordem de entrada, associada por custom_id, com model = LORA_NAME; uma linha que o SGLang não conseguiu responder traz error em vez de response

O que você pode alterar

Um envio pode definir: GPU (SKU) (sku), Posicionamento na nuvem (providers), Variáveis de ambiente (spec.env), Tempo máximo de execução (spec.max_runtime_seconds). A imagem e as entradas e saídas declaradas são fixas: uma imagem diferente é um template diferente.

Padrões de ambiente
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
MAX_LORA_RANK64
LORA_NAMElora
CONCURRENCY64

Execute

Com uma chave em $UNIFY_KEY (veja o guia de início rápido), informe para cada entrada uma URL https://, pública ou pré-assinada, que termine no nome de arquivo acima:

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-lora-sglang",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      },
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
        "mount": "/mnt/adapter"
      }
    ]
  }
}'

O job é cobrado pelo tempo de GPU que usa, na tarifa do SKU, igual a um job que você mesmo escreve.

Acesso antecipado

Durante a liberação, a execução de jobs em GPU é ativada conta a conta. Crie uma conta e depois peça a ativação, como descrito no guia de início rápido.

De onde vem a imagem

Imagemlmsysorg/sglang:v0.5.19-cu129-runtime
Digestsha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41
LicençaApache-2.0
Origemhttps://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE)

O que roda é o digest. Uma tag pode ser enviada de novo; um digest não, então o seu job baixa exatamente o que foi revisado.