كل القوالب

batch-infer-vllm

إكمالات المحادثة على دفعات باستخدام vLLM

يشغّل ملف دفعات بتنسيق OpenAI من طلبات /v1/chat/completions عبر مشغّل الدفعات في vLLM، ويكتب سطر نتيجة واحدًا لكل طلب. النموذج الافتراضي Qwen3-4B-Instruct-2507 (Apache-2.0)، ويُنزَّل من Hugging Face عند البدء.

الحالة
متاح
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
مدة التشغيل الافتراضية
1 h كحد أقصى
الناشر
Unify Compute

ما يقرؤه وما يكتبه

المُدخل /mnt/inمجلد يحتوي على requests.jsonl: سطر دفعة واحد بتنسيق OpenAI لكل طلب، بعنوان url هو /v1/chat/completions
المُخرج /mnt/outresults.jsonl: سطر نتيجة دفعة واحد بتنسيق OpenAI لكل طلب، يُطابَق بواسطة custom_id

ما يمكنك تغييره

يمكن عند الإرسال تحديد: GPU (SKU) (sku)، موضع التشغيل السحابي (providers)، متغيرات البيئة (spec.env)، الحد الأقصى لمدة التشغيل (spec.max_runtime_seconds). أما الصورة والمدخلات والمخرجات المُعلنة فثابتة: فالصورة المختلفة تعني قالبًا مختلفًا.

القيم الافتراضية للبيئة
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192

شغّله

مع حفظ المفتاح في $UNIFY_KEY (راجع دليل البدء السريع)، أعطِ كل مُدخل عنوان URL يبدأ بـ https://، عامًّا أو موقَّعًا مسبقًا، وينتهي باسم الملف المذكور أعلاه:

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-vllm",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      }
    ]
  }
}'

تُحتسب تكلفة المهمة بحسب وقت GPU الذي تستخدمه وبسعر وحدة SKU، تمامًا مثل أي مهمة تكتبها بنفسك.

وصول مبكر

خلال فترة الإتاحة التدريجية، يُفعَّل تنفيذ مهام GPU لكل حساب على حدة. أنشئ حسابًا، ثم اطلب منا تفعيله كما يوضح دليل البدء السريع.

مصدر الصورة

الصورةvllm/vllm-openai:v0.30.0-cu129
الملخص (Digest)sha256:a67f8f186d4567612ac37a55bd82295006002b18858eb12a8af2f05f86c2ae3f
الترخيصApache-2.0
المصدرhttps://hub.docker.com/r/vllm/vllm-openai (tag v0.30.0-cu129, pushed 2026-09-22; Dockerfile at github.com/vllm-project/vllm/blob/v0.30.0/docker/Dockerfile)

ما يُشغَّل فعليًا هو الملخص (digest). يمكن إعادة دفع الوسم، أما الملخص فلا، لذا فإن ما تسحبه مهمتك هو تمامًا ما تمت مراجعته.