Todas las plantillas

batch-infer-lora-sglang

Completions de chat por lotes con tu adaptador LoRA en SGLang

batch-infer-lora en SGLang: procesa un archivo de lote de OpenAI con solicitudes /v1/chat/completions (o /v1/completions) con un adaptador LoRA aplicado (por ejemplo, el adapter.tar.gz que produjo un trabajo finetune-lora) y escribe una línea de resultado por solicitud, con model = LORA_NAME. Los prefijos de prompt compartidos se procesan una sola vez, como en batch-infer-sglang. Modelo base predeterminado: Qwen3-4B-Instruct-2507 (Apache-2.0); el adaptador debe haberse entrenado sobre la misma base.

Estado
Disponible
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
Tiempo de ejecución predeterminado
1 h como máximo
Editor
Unify Compute

Qué lee y qué escribe

Entrada /mnt/inrequests.jsonl: una línea de lote de OpenAI por solicitud, con url /v1/chat/completions o /v1/completions; el campo model se ignora y el adaptador se aplica a todas las líneas
Entrada /mnt/adapteradapter.tar.gz: un directorio de adaptador PEFT LoRA (adapter_config.json, adapter_model.safetensors), tal como lo escribe finetune-lora
Salida /mnt/outresults.jsonl: una línea de resultado de lote de OpenAI por solicitud, en el orden de entrada, asociada por custom_id, con model = LORA_NAME; una línea que SGLang no pudo responder lleva error en lugar de response

Qué puede cambiar

Un envío puede definir: GPU (SKU) (sku), Ubicación en la nube (providers), Variables de entorno (spec.env), Tiempo máximo de ejecución (spec.max_runtime_seconds). La imagen y las entradas y salidas declaradas son fijas: una imagen distinta es una plantilla distinta.

Valores predeterminados del entorno
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
MAX_LORA_RANK64
LORA_NAMElora
CONCURRENCY64

Ejecútela

Con una clave en $UNIFY_KEY (consulte la guía de inicio rápido), asigne a cada entrada una URL https://, pública o prefirmada, que termine en el nombre de archivo indicado arriba:

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-lora-sglang",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      },
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
        "mount": "/mnt/adapter"
      }
    ]
  }
}'

El trabajo se factura por el tiempo de GPU que usa, a la tarifa del SKU, igual que un trabajo que escriba usted mismo.

Acceso anticipado

Durante el despliegue, la ejecución de trabajos en GPU se activa cuenta por cuenta. Cree una cuenta y luego solicite que la habilitemos, como se explica en la guía de inicio rápido.

De dónde proviene la imagen

Imagenlmsysorg/sglang:v0.5.19-cu129-runtime
Digestsha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41
LicenciaApache-2.0
Origenhttps://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE)

Lo que se ejecuta es el digest. Una etiqueta puede volver a publicarse; un digest no, así que su trabajo descarga exactamente lo que se revisó.