すべてのテンプレート

batch-infer-lora-sglang

SGLang と LoRA アダプターを使ったチャット補完のバッチ処理

SGLang 版の batch-infer-lora:/v1/chat/completions(または /v1/completions)リクエストからなる OpenAI バッチファイルを、LoRA アダプター(たとえば finetune-lora ジョブが生成した adapter.tar.gz)を適用して処理し、リクエストごとに 1 行の結果を書き出します(model は LORA_NAME)。batch-infer-sglang と同様に、共有されるプロンプトのプレフィックスはプリフィルが 1 回で済みます。既定のベースモデルは Qwen3-4B-Instruct-2507(Apache-2.0)です。アダプターは同じベースモデルでトレーニングされている必要があります。

ステータス
利用可能
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
既定の実行時間
最大 1 h
提供元
Unify Compute

読み取るものと書き出すもの

入力 /mnt/inrequests.jsonl:リクエストごとに 1 行の OpenAI バッチ行(url は /v1/chat/completions または /v1/completions)。model フィールドは無視され、アダプターはすべての行に適用されます
入力 /mnt/adapteradapter.tar.gz:finetune-lora が書き出す形式の PEFT LoRA アダプターディレクトリ(adapter_config.json、adapter_model.safetensors)
出力 /mnt/outresults.jsonl:リクエストごとに 1 行の OpenAI バッチ結果(入力順、custom_id で対応付け、model は LORA_NAME)。SGLang が応答できなかった行には response の代わりに error が入ります

変更できる項目

送信時に設定できる項目:GPU(SKU) (sku)、クラウドの配置 (providers)、環境変数 (spec.env)、最大実行時間 (spec.max_runtime_seconds)。イメージと宣言済みの入力・出力は固定です。イメージが異なれば、別のテンプレートになります。

環境変数の既定値
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
MAX_LORA_RANK64
LORA_NAMElora
CONCURRENCY64

実行する

キーを $UNIFY_KEY に保存した状態で(クイックスタートを参照)、各入力に、上記のファイル名で終わる https:// の URL(公開 URL または署名付き URL)を指定します:

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-lora-sglang",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      },
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
        "mount": "/mnt/adapter"
      }
    ]
  }
}'

ジョブは、ご自身で作成したジョブと同じく、使用した GPU 時間に SKU の料金を適用して課金されます。

アーリーアクセス

提供開始までの間、GPU ジョブ実行はアカウント単位で有効化しています。アカウントを作成し、クイックスタートの説明に従って有効化をご依頼ください。

イメージの出所

イメージlmsysorg/sglang:v0.5.19-cu129-runtime
ダイジェストsha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41
ライセンスApache-2.0
ソースhttps://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE)

実行されるのはダイジェストです。タグは再プッシュできますが、ダイジェストはできません。そのため、ジョブが取得するのはレビュー済みのものです。