batch-extract-sglang
Trích xuất có cấu trúc với SGLang
Chạy một tệp batch OpenAI gồm các yêu cầu /v1/chat/completions (hoặc /v1/completions) qua SGLang, mọi câu trả lời đều bị ràng buộc theo một JSON Schema do bạn cung cấp, và ghi một dòng kết quả cho mỗi yêu cầu, cùng định dạng với batch-infer-sglang. Việc giải mã được dẫn hướng bằng ngữ pháp, nên mỗi câu trả lời đều phân tích được và khớp schema, trừ khi chạm max_tokens trước; nhật ký cho biết có bao nhiêu câu phân tích được. Mô hình mặc định là Qwen3-4B-Instruct-2507 (Apache-2.0), được tải từ Hugging Face khi khởi động.
- Trạng thái
- Sẵn có
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - Thời gian chạy mặc định
- Tối đa 1 h
- Nhà phát hành
- Unify Compute
Dữ liệu đọc và ghi
Đầu vào /mnt/in | Thư mục chứa requests.jsonl: mỗi yêu cầu một dòng batch OpenAI với url /v1/chat/completions hoặc /v1/completions; trường model được thay bằng MODEL và mọi response_format được thay bằng schema |
|---|---|
Đầu vào /mnt/schema | schema.json: JSON Schema mà mọi câu trả lời phải khớp |
Đầu ra /mnt/out | results.jsonl: mỗi yêu cầu một dòng kết quả batch OpenAI, theo thứ tự đầu vào, đối chiếu theo custom_id; nội dung mỗi câu trả lời là một tài liệu JSON khớp schema.json |
Những gì bạn có thể thay đổi
Khi gửi, bạn có thể đặt: GPU (SKU) (sku), Vị trí đám mây (providers), Biến môi trường (spec.env), Thời gian chạy tối đa (spec.max_runtime_seconds). Image cùng các đầu vào và đầu ra đã khai báo là cố định: image khác là một mẫu khác.
MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
MODEL_REVISION | cdbee75f17c01a7cc42f958dc650907174af0554 |
MAX_MODEL_LEN | 8192 |
CONCURRENCY | 64 |
Chạy mẫu
Với khóa đã lưu trong $UNIFY_KEY (xem bắt đầu nhanh), hãy cung cấp cho mỗi đầu vào một URL https://, công khai hoặc đã ký trước, kết thúc bằng tên tệp nêu ở trên:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "batch-extract-sglang",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
"mount": "/mnt/in"
},
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/schema.json",
"mount": "/mnt/schema"
}
]
}
}'Tác vụ được tính phí theo thời gian GPU sử dụng với mức giá của SKU, giống như một tác vụ bạn tự viết.
Trong giai đoạn mở dần, tính năng thực thi tác vụ GPU được bật theo từng tài khoản. Tạo tài khoản, sau đó đề nghị chúng tôi bật tính năng này như hướng dẫn trong bắt đầu nhanh.
Nguồn gốc của image
| Image | lmsysorg/sglang:v0.5.19-cu129-runtime |
|---|---|
| Digest | sha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41 |
| Giấy phép | Apache-2.0 |
| Nguồn | https://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE) |
Thứ được chạy là digest. Tag có thể bị đẩy lại, còn digest thì không, nên tác vụ của bạn kéo về đúng phiên bản đã được duyệt.