batch-infer-vllm
Completions de chat por lotes con vLLM
Procesa un archivo de lote de OpenAI con solicitudes /v1/chat/completions mediante el ejecutor por lotes de vLLM y escribe una línea de resultado por solicitud. Modelo predeterminado: Qwen3-4B-Instruct-2507 (Apache-2.0), descargado de Hugging Face al iniciar.
- Estado
- Disponible
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - Tiempo de ejecución predeterminado
- 1 h como máximo
- Editor
- Unify Compute
Qué lee y qué escribe
Entrada /mnt/in | Directorio que contiene requests.jsonl: una línea de lote de OpenAI por solicitud, con url /v1/chat/completions |
|---|---|
Salida /mnt/out | results.jsonl: una línea de resultado de lote de OpenAI por solicitud, asociada por custom_id |
Qué puede cambiar
Un envío puede definir: GPU (SKU) (sku), Ubicación en la nube (providers), Variables de entorno (spec.env), Tiempo máximo de ejecución (spec.max_runtime_seconds). La imagen y las entradas y salidas declaradas son fijas: una imagen distinta es una plantilla distinta.
MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
MODEL_REVISION | cdbee75f17c01a7cc42f958dc650907174af0554 |
MAX_MODEL_LEN | 8192 |
Ejecútela
Con una clave en $UNIFY_KEY (consulte la guía de inicio rápido), asigne a cada entrada una URL https://, pública o prefirmada, que termine en el nombre de archivo indicado arriba:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "batch-infer-vllm",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
"mount": "/mnt/in"
}
]
}
}'El trabajo se factura por el tiempo de GPU que usa, a la tarifa del SKU, igual que un trabajo que escriba usted mismo.
Durante el despliegue, la ejecución de trabajos en GPU se activa cuenta por cuenta. Cree una cuenta y luego solicite que la habilitemos, como se explica en la guía de inicio rápido.
De dónde proviene la imagen
| Imagen | vllm/vllm-openai:v0.30.0-cu129 |
|---|---|
| Digest | sha256:a67f8f186d4567612ac37a55bd82295006002b18858eb12a8af2f05f86c2ae3f |
| Licencia | Apache-2.0 |
| Origen | https://hub.docker.com/r/vllm/vllm-openai (tag v0.30.0-cu129, pushed 2026-09-22; Dockerfile at github.com/vllm-project/vllm/blob/v0.30.0/docker/Dockerfile) |
Lo que se ejecuta es el digest. Una etiqueta puede volver a publicarse; un digest no, así que su trabajo descarga exactamente lo que se revisó.