Tous les modèles

batch-infer-lora-sglang

Complétions de chat par lots avec votre adaptateur LoRA sur SGLang

batch-infer-lora sur SGLang : traite un fichier de lot OpenAI de requêtes /v1/chat/completions (ou /v1/completions) en appliquant un adaptateur LoRA (par exemple l’adapter.tar.gz produit par une tâche finetune-lora) et écrit une ligne de résultat par requête, avec model = LORA_NAME. Les préfixes de prompt partagés ne sont préremplis qu’une fois, comme dans batch-infer-sglang. Modèle de base par défaut : Qwen3-4B-Instruct-2507 (Apache-2.0) ; l’adaptateur doit avoir été entraîné sur la même base.

Statut
Disponible
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
Durée d’exécution par défaut
1 h maximum
Éditeur
Unify Compute

Ce qu’il lit et écrit

Entrée /mnt/inrequests.jsonl : une ligne de lot OpenAI par requête, avec l’url /v1/chat/completions ou /v1/completions ; le champ model est ignoré, l’adaptateur s’applique à chaque ligne
Entrée /mnt/adapteradapter.tar.gz : un répertoire d’adaptateur PEFT LoRA (adapter_config.json, adapter_model.safetensors), tel que finetune-lora l’écrit
Sortie /mnt/outresults.jsonl : une ligne de résultat de lot OpenAI par requête, dans l’ordre d’entrée, associée par custom_id, avec model = LORA_NAME ; une ligne à laquelle SGLang n’a pas pu répondre porte error au lieu de response

Ce que vous pouvez modifier

Une soumission peut définir : GPU (SKU) (sku), Placement cloud (providers), Variables d’environnement (spec.env), Durée d’exécution maximale (spec.max_runtime_seconds). L’image ainsi que les entrées et sorties déclarées sont fixes : une autre image correspond à un autre modèle.

Valeurs d’environnement par défaut
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
MAX_LORA_RANK64
LORA_NAMElora
CONCURRENCY64

Exécutez-le

Avec une clé dans $UNIFY_KEY (voir le guide de démarrage rapide), attribuez à chaque entrée une URL https://, publique ou présignée, qui se termine par le nom de fichier indiqué ci-dessus :

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-lora-sglang",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      },
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
        "mount": "/mnt/adapter"
      }
    ]
  }
}'

La tâche est facturée au temps GPU utilisé, au tarif du SKU, comme une tâche que vous écrivez vous-même.

Accès anticipé

Pendant le déploiement, l’exécution des tâches GPU est activée compte par compte. Créez un compte, puis demandez-nous de l’activer comme l’explique le guide de démarrage rapide.

Provenance de l’image

Imagelmsysorg/sglang:v0.5.19-cu129-runtime
Digestsha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41
LicenceApache-2.0
Sourcehttps://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE)

C’est le digest qui s’exécute. Un tag peut être republié, pas un digest : votre tâche récupère exactement ce qui a été vérifié.