Tất cả mẫu

batch-embed

Embedding theo lô với vLLM

Tạo embedding cho một tệp batch OpenAI gồm các yêu cầu /v1/embeddings bằng trình chạy batch của vLLM và ghi một dòng kết quả cho mỗi yêu cầu. Mô hình mặc định là Qwen3-Embedding-0.6B (Apache-2.0), được tải từ Hugging Face khi khởi động.

Trạng thái
Sẵn có
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
Thời gian chạy mặc định
Tối đa 1 h
Nhà phát hành
Unify Compute

Dữ liệu đọc và ghi

Đầu vào /mnt/inThư mục chứa requests.jsonl: mỗi yêu cầu một dòng batch OpenAI với url /v1/embeddings
Đầu ra /mnt/outresults.jsonl: mỗi yêu cầu một dòng kết quả batch OpenAI, đối chiếu theo custom_id

Những gì bạn có thể thay đổi

Khi gửi, bạn có thể đặt: GPU (SKU) (sku), Vị trí đám mây (providers), Biến môi trường (spec.env), Thời gian chạy tối đa (spec.max_runtime_seconds). Image cùng các đầu vào và đầu ra đã khai báo là cố định: image khác là một mẫu khác.

Giá trị môi trường mặc định
MODELQwen/Qwen3-Embedding-0.6B
MODEL_REVISION97b0c614be4d77ee51c0cef4e5f07c00f9eb65b3

Chạy mẫu

Với khóa đã lưu trong $UNIFY_KEY (xem bắt đầu nhanh), hãy cung cấp cho mỗi đầu vào một URL https://, công khai hoặc đã ký trước, kết thúc bằng tên tệp nêu ở trên:

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-embed",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      }
    ]
  }
}'

Tác vụ được tính phí theo thời gian GPU sử dụng với mức giá của SKU, giống như một tác vụ bạn tự viết.

Truy cập sớm

Trong giai đoạn mở dần, tính năng thực thi tác vụ GPU được bật theo từng tài khoản. Tạo tài khoản, sau đó đề nghị chúng tôi bật tính năng này như hướng dẫn trong bắt đầu nhanh.

Nguồn gốc của image

Imagevllm/vllm-openai:v0.30.0-cu129
Digestsha256:a67f8f186d4567612ac37a55bd82295006002b18858eb12a8af2f05f86c2ae3f
Giấy phépApache-2.0
Nguồnhttps://hub.docker.com/r/vllm/vllm-openai (tag v0.30.0-cu129, pushed 2026-09-22; Dockerfile at github.com/vllm-project/vllm/blob/v0.30.0/docker/Dockerfile)

Thứ được chạy là digest. Tag có thể bị đẩy lại, còn digest thì không, nên tác vụ của bạn kéo về đúng phiên bản đã được duyệt.