Alle Vorlagen

batch-infer-lora-sglang

Chat-Completions im Batch mit Ihrem LoRA-Adapter auf SGLang

batch-infer-lora auf SGLang: Verarbeitet eine OpenAI-Batch-Datei mit /v1/chat/completions- (oder /v1/completions-)Anfragen mit angewendetem LoRA-Adapter (zum Beispiel dem adapter.tar.gz, das ein finetune-lora-Job erzeugt hat) und schreibt pro Anfrage eine Ergebniszeile, model = LORA_NAME. Gemeinsame Prompt-Präfixe werden wie bei batch-infer-sglang nur einmal vorbefüllt. Standard-Basismodell Qwen3-4B-Instruct-2507 (Apache-2.0); der Adapter muss auf derselben Basis trainiert worden sein.

Status
Verfügbar
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
Standardlaufzeit
maximal 1 h
Herausgeber
Unify Compute

Was gelesen und geschrieben wird

Eingabe /mnt/inrequests.jsonl: eine OpenAI-Batch-Zeile pro Anfrage mit url /v1/chat/completions oder /v1/completions; das Feld model wird ignoriert, der Adapter gilt für jede Zeile
Eingabe /mnt/adapteradapter.tar.gz: ein PEFT-LoRA-Adapterverzeichnis (adapter_config.json, adapter_model.safetensors), wie finetune-lora es schreibt
Ausgabe /mnt/outresults.jsonl: eine OpenAI-Batch-Ergebniszeile pro Anfrage, in Eingabereihenfolge, zugeordnet über custom_id, model = LORA_NAME; eine Zeile, die SGLang nicht beantworten konnte, enthält error statt response

Was Sie ändern können

Beim Einreichen lässt sich Folgendes festlegen: GPU (SKU) (sku), Cloud-Platzierung (providers), Umgebungsvariablen (spec.env), Maximale Laufzeit (spec.max_runtime_seconds). Das Image sowie die deklarierten Ein- und Ausgaben sind fest: Ein anderes Image ist eine andere Vorlage.

Standardwerte der Umgebung
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
MAX_LORA_RANK64
LORA_NAMElora
CONCURRENCY64

Ausführen

Mit einem Schlüssel in $UNIFY_KEY (siehe Schnellstart) geben Sie jeder Eingabe eine öffentliche oder vorsignierte https://-URL, die auf den oben genannten Dateinamen endet:

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-lora-sglang",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      },
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
        "mount": "/mnt/adapter"
      }
    ]
  }
}'

Der Job wird nach der genutzten GPU-Zeit zum Tarif der SKU abgerechnet, genau wie ein Job, den Sie selbst schreiben.

Early Access

Während der Einführung wird die GPU-Job-Ausführung pro Konto freigeschaltet. Legen Sie ein Konto an und bitten Sie uns dann um die Freischaltung, wie im Schnellstart beschrieben.

Herkunft des Images

Imagelmsysorg/sglang:v0.5.19-cu129-runtime
Digestsha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41
LizenzApache-2.0
Quellehttps://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE)

Ausgeführt wird der Digest. Ein Tag kann neu gepusht werden, ein Digest nicht. Ihr Job lädt also genau das, was geprüft wurde.