batch-infer-lora
LoRA アダプターを使ったチャット補完のバッチ処理
/v1/chat/completions リクエストからなる OpenAI バッチファイルを、LoRA アダプター(たとえば finetune-lora ジョブが生成した adapter.tar.gz)を適用した vLLM で処理し、batch-infer-vllm と同様にリクエストごとに 1 行の結果を書き出します。既定のベースモデルは Qwen3-4B-Instruct-2507(Apache-2.0)です。アダプターは同じベースモデルでトレーニングされている必要があります。
- ステータス
- 利用可能
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - 既定の実行時間
- 最大 1 h
- 提供元
- Unify Compute
読み取るものと書き出すもの
入力 /mnt/in | requests.jsonl:リクエストごとに 1 行の OpenAI バッチ行(url は /v1/chat/completions)。model フィールドは無視され、アダプターはすべての行に適用されます |
|---|---|
入力 /mnt/adapter | adapter.tar.gz:finetune-lora が書き出す形式の PEFT LoRA アダプターディレクトリ(adapter_config.json、adapter_model.safetensors) |
出力 /mnt/out | results.jsonl:リクエストごとに 1 行の OpenAI バッチ結果(custom_id で対応付け、model = LORA_NAME) |
変更できる項目
送信時に設定できる項目:GPU(SKU) (sku)、クラウドの配置 (providers)、環境変数 (spec.env)、最大実行時間 (spec.max_runtime_seconds)。イメージと宣言済みの入力・出力は固定です。イメージが異なれば、別のテンプレートになります。
MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
MODEL_REVISION | cdbee75f17c01a7cc42f958dc650907174af0554 |
MAX_MODEL_LEN | 8192 |
MAX_LORA_RANK | 64 |
LORA_NAME | lora |
実行する
キーを $UNIFY_KEY に保存した状態で(クイックスタートを参照)、各入力に、上記のファイル名で終わる https:// の URL(公開 URL または署名付き URL)を指定します:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "batch-infer-lora",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
"mount": "/mnt/in"
},
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
"mount": "/mnt/adapter"
}
]
}
}'ジョブは、ご自身で作成したジョブと同じく、使用した GPU 時間に SKU の料金を適用して課金されます。
イメージの出所
| イメージ | ghcr.io/felixsphere/unify-compute-finetune:finetune-2026-10-04 |
|---|---|
| ダイジェスト | sha256:6d426175dcd0e2443df6da9cf68e96c079abe5a8b80d9f488d09019536272ac1 |
| ライセンス | Apache-2.0 |
| ソース | ghcr.io/felixsphere/unify-compute-finetune, built by publish-image.yml run 37266527011 from main 150de552 (finetune/Dockerfile on vllm/vllm-openai:v0.30.0-cu129@sha256:a67f8f18…, Apache-2.0; adds TRL 1.14.1, PEFT 0.21.2, datasets 5.0.1, accelerate 1.15.0, jsonschema 4.26.0 and torchvision 0.29.0+cu130, removes torchaudio; linux/amd64 only; licences in THIRD-PARTY-LICENSES.md, Workload images) |
実行されるのはダイジェストです。タグは再プッシュできますが、ダイジェストはできません。そのため、ジョブが取得するのはレビュー済みのものです。