Tất cả mẫu

batch-infer-lora-sglang

Chat completion theo lô với LoRA adapter của bạn trên SGLang

batch-infer-lora trên SGLang: chạy một tệp batch OpenAI gồm các yêu cầu /v1/chat/completions (hoặc /v1/completions) với một LoRA adapter được áp dụng (ví dụ adapter.tar.gz do một tác vụ finetune-lora tạo ra) và ghi một dòng kết quả cho mỗi yêu cầu, với model = LORA_NAME. Các tiền tố prompt dùng chung chỉ được prefill một lần, như trong batch-infer-sglang. Mô hình nền mặc định là Qwen3-4B-Instruct-2507 (Apache-2.0); adapter phải được huấn luyện trên cùng mô hình nền.

Trạng thái
Sẵn có
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
Thời gian chạy mặc định
Tối đa 1 h
Nhà phát hành
Unify Compute

Dữ liệu đọc và ghi

Đầu vào /mnt/inrequests.jsonl: mỗi yêu cầu một dòng batch OpenAI với url /v1/chat/completions hoặc /v1/completions; trường model bị bỏ qua, adapter áp dụng cho mọi dòng
Đầu vào /mnt/adapteradapter.tar.gz: một thư mục PEFT LoRA adapter (adapter_config.json, adapter_model.safetensors), đúng định dạng finetune-lora ghi ra
Đầu ra /mnt/outresults.jsonl: mỗi yêu cầu một dòng kết quả batch OpenAI, theo thứ tự đầu vào, đối chiếu theo custom_id, với model = LORA_NAME; dòng mà SGLang không trả lời được sẽ có error thay cho response

Những gì bạn có thể thay đổi

Khi gửi, bạn có thể đặt: GPU (SKU) (sku), Vị trí đám mây (providers), Biến môi trường (spec.env), Thời gian chạy tối đa (spec.max_runtime_seconds). Image cùng các đầu vào và đầu ra đã khai báo là cố định: image khác là một mẫu khác.

Giá trị môi trường mặc định
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
MAX_LORA_RANK64
LORA_NAMElora
CONCURRENCY64

Chạy mẫu

Với khóa đã lưu trong $UNIFY_KEY (xem bắt đầu nhanh), hãy cung cấp cho mỗi đầu vào một URL https://, công khai hoặc đã ký trước, kết thúc bằng tên tệp nêu ở trên:

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-lora-sglang",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      },
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
        "mount": "/mnt/adapter"
      }
    ]
  }
}'

Tác vụ được tính phí theo thời gian GPU sử dụng với mức giá của SKU, giống như một tác vụ bạn tự viết.

Truy cập sớm

Trong giai đoạn mở dần, tính năng thực thi tác vụ GPU được bật theo từng tài khoản. Tạo tài khoản, sau đó đề nghị chúng tôi bật tính năng này như hướng dẫn trong bắt đầu nhanh.

Nguồn gốc của image

Imagelmsysorg/sglang:v0.5.19-cu129-runtime
Digestsha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41
Giấy phépApache-2.0
Nguồnhttps://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE)

Thứ được chạy là digest. Tag có thể bị đẩy lại, còn digest thì không, nên tác vụ của bạn kéo về đúng phiên bản đã được duyệt.