batch-infer-lora
Chat-Completions im Batch mit Ihrem LoRA-Adapter
Verarbeitet eine OpenAI-Batch-Datei mit /v1/chat/completions-Anfragen in vLLM mit angewendetem LoRA-Adapter (zum Beispiel dem adapter.tar.gz, das ein finetune-lora-Job erzeugt hat) und schreibt wie batch-infer-vllm eine Ergebniszeile pro Anfrage. Standard-Basismodell Qwen3-4B-Instruct-2507 (Apache-2.0); der Adapter muss auf derselben Basis trainiert worden sein.
- Status
- Verfügbar
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - Standardlaufzeit
- maximal 1 h
- Herausgeber
- Unify Compute
Was gelesen und geschrieben wird
Eingabe /mnt/in | requests.jsonl: eine OpenAI-Batch-Zeile pro Anfrage mit url /v1/chat/completions; das Feld model wird ignoriert, der Adapter gilt für jede Zeile |
|---|---|
Eingabe /mnt/adapter | adapter.tar.gz: ein PEFT-LoRA-Adapterverzeichnis (adapter_config.json, adapter_model.safetensors), wie finetune-lora es schreibt |
Ausgabe /mnt/out | results.jsonl: eine OpenAI-Batch-Ergebniszeile pro Anfrage, zugeordnet über custom_id, model = LORA_NAME |
Was Sie ändern können
Beim Einreichen lässt sich Folgendes festlegen: GPU (SKU) (sku), Cloud-Platzierung (providers), Umgebungsvariablen (spec.env), Maximale Laufzeit (spec.max_runtime_seconds). Das Image sowie die deklarierten Ein- und Ausgaben sind fest: Ein anderes Image ist eine andere Vorlage.
MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
MODEL_REVISION | cdbee75f17c01a7cc42f958dc650907174af0554 |
MAX_MODEL_LEN | 8192 |
MAX_LORA_RANK | 64 |
LORA_NAME | lora |
Ausführen
Mit einem Schlüssel in $UNIFY_KEY (siehe Schnellstart) geben Sie jeder Eingabe eine öffentliche oder vorsignierte https://-URL, die auf den oben genannten Dateinamen endet:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "batch-infer-lora",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
"mount": "/mnt/in"
},
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
"mount": "/mnt/adapter"
}
]
}
}'Der Job wird nach der genutzten GPU-Zeit zum Tarif der SKU abgerechnet, genau wie ein Job, den Sie selbst schreiben.
Während der Einführung wird die GPU-Job-Ausführung pro Konto freigeschaltet. Legen Sie ein Konto an und bitten Sie uns dann um die Freischaltung, wie im Schnellstart beschrieben.
Herkunft des Images
| Image | ghcr.io/felixsphere/unify-compute-finetune:finetune-2026-10-04 |
|---|---|
| Digest | sha256:6d426175dcd0e2443df6da9cf68e96c079abe5a8b80d9f488d09019536272ac1 |
| Lizenz | Apache-2.0 |
| Quelle | ghcr.io/felixsphere/unify-compute-finetune, built by publish-image.yml run 37266527011 from main 150de552 (finetune/Dockerfile on vllm/vllm-openai:v0.30.0-cu129@sha256:a67f8f18…, Apache-2.0; adds TRL 1.14.1, PEFT 0.21.2, datasets 5.0.1, accelerate 1.15.0, jsonschema 4.26.0 and torchvision 0.29.0+cu130, removes torchaudio; linux/amd64 only; licences in THIRD-PARTY-LICENSES.md, Workload images) |
Ausgeführt wird der Digest. Ein Tag kann neu gepusht werden, ein Digest nicht. Ihr Job lädt also genau das, was geprüft wurde.