batch-embed
Embeddings im Batch mit vLLM
Berechnet Embeddings für eine OpenAI-Batch-Datei mit /v1/embeddings-Anfragen mit dem Batch-Runner von vLLM und schreibt eine Ergebniszeile pro Anfrage. Standardmodell Qwen3-Embedding-0.6B (Apache-2.0), wird beim Start von Hugging Face heruntergeladen.
- Status
- Verfügbar
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - Standardlaufzeit
- maximal 1 h
- Herausgeber
- Unify Compute
Was gelesen und geschrieben wird
Eingabe /mnt/in | Verzeichnis mit requests.jsonl: eine OpenAI-Batch-Zeile pro Anfrage mit url /v1/embeddings |
|---|---|
Ausgabe /mnt/out | results.jsonl: eine OpenAI-Batch-Ergebniszeile pro Anfrage, zugeordnet über custom_id |
Was Sie ändern können
Beim Einreichen lässt sich Folgendes festlegen: GPU (SKU) (sku), Cloud-Platzierung (providers), Umgebungsvariablen (spec.env), Maximale Laufzeit (spec.max_runtime_seconds). Das Image sowie die deklarierten Ein- und Ausgaben sind fest: Ein anderes Image ist eine andere Vorlage.
MODEL | Qwen/Qwen3-Embedding-0.6B |
|---|---|
MODEL_REVISION | 97b0c614be4d77ee51c0cef4e5f07c00f9eb65b3 |
Ausführen
Mit einem Schlüssel in $UNIFY_KEY (siehe Schnellstart) geben Sie jeder Eingabe eine öffentliche oder vorsignierte https://-URL, die auf den oben genannten Dateinamen endet:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "batch-embed",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
"mount": "/mnt/in"
}
]
}
}'Der Job wird nach der genutzten GPU-Zeit zum Tarif der SKU abgerechnet, genau wie ein Job, den Sie selbst schreiben.
Während der Einführung wird die GPU-Job-Ausführung pro Konto freigeschaltet. Legen Sie ein Konto an und bitten Sie uns dann um die Freischaltung, wie im Schnellstart beschrieben.
Herkunft des Images
| Image | vllm/vllm-openai:v0.30.0-cu129 |
|---|---|
| Digest | sha256:a67f8f186d4567612ac37a55bd82295006002b18858eb12a8af2f05f86c2ae3f |
| Lizenz | Apache-2.0 |
| Quelle | https://hub.docker.com/r/vllm/vllm-openai (tag v0.30.0-cu129, pushed 2026-09-22; Dockerfile at github.com/vllm-project/vllm/blob/v0.30.0/docker/Dockerfile) |
Ausgeführt wird der Digest. Ein Tag kann neu gepusht werden, ein Digest nicht. Ihr Job lädt also genau das, was geprüft wurde.