كل القوالب

batch-infer-sglang

إكمالات المحادثة على دفعات باستخدام SGLang

يشغّل ملف دفعات بتنسيق OpenAI من طلبات /v1/chat/completions (أو /v1/completions) عبر خادم SGLang يبدأ داخل المهمة، ويكتب سطر نتيجة واحدًا لكل طلب بالشكل نفسه الذي يستخدمه batch-infer-vllm. تعيد RadixAttention في SGLang استخدام ذاكرة KV المؤقتة للبادئات المشتركة بين الأسطر، لذا فإن الدفعة التي تتشارك موجّه نظام طويلًا واحدًا أو كتلة few-shot تُجري التعبئة المسبقة لذلك الجزء مرة واحدة فقط. النموذج الافتراضي Qwen3-4B-Instruct-2507 (Apache-2.0)، ويُنزَّل من Hugging Face عند البدء.

الحالة
متاح
GPU
NVIDIA A10G · 24 GB a10g-24gb-x1
مدة التشغيل الافتراضية
1 h كحد أقصى
الناشر
Unify Compute

ما يقرؤه وما يكتبه

المُدخل /mnt/inمجلد يحتوي على requests.jsonl: سطر دفعة واحد بتنسيق OpenAI لكل طلب، بعنوان url هو /v1/chat/completions أو /v1/completions؛ ويُستبدل الحقل model بقيمة MODEL
المُخرج /mnt/outresults.jsonl: سطر نتيجة دفعة واحد بتنسيق OpenAI لكل طلب، بترتيب الإدخال، يُطابَق بواسطة custom_id؛ والسطر الذي لم يتمكن SGLang من الرد عليه يحمل error بدلًا من response

ما يمكنك تغييره

يمكن عند الإرسال تحديد: GPU (SKU) (sku)، موضع التشغيل السحابي (providers)، متغيرات البيئة (spec.env)، الحد الأقصى لمدة التشغيل (spec.max_runtime_seconds). أما الصورة والمدخلات والمخرجات المُعلنة فثابتة: فالصورة المختلفة تعني قالبًا مختلفًا.

القيم الافتراضية للبيئة
MODELQwen/Qwen3-4B-Instruct-2507
MODEL_REVISIONcdbee75f17c01a7cc42f958dc650907174af0554
MAX_MODEL_LEN8192
CONCURRENCY64

شغّله

مع حفظ المفتاح في $UNIFY_KEY (راجع دليل البدء السريع)، أعطِ كل مُدخل عنوان URL يبدأ بـ https://، عامًّا أو موقَّعًا مسبقًا، وينتهي باسم الملف المذكور أعلاه:

curl -s https://api.compute.unifyai.us/compute/v1/jobs \
  -H "Authorization: Bearer $UNIFY_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "template": "batch-infer-sglang",
  "spec": {
    "inputs": [
      {
        "source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
        "mount": "/mnt/in"
      }
    ]
  }
}'

تُحتسب تكلفة المهمة بحسب وقت GPU الذي تستخدمه وبسعر وحدة SKU، تمامًا مثل أي مهمة تكتبها بنفسك.

وصول مبكر

خلال فترة الإتاحة التدريجية، يُفعَّل تنفيذ مهام GPU لكل حساب على حدة. أنشئ حسابًا، ثم اطلب منا تفعيله كما يوضح دليل البدء السريع.

مصدر الصورة

الصورةlmsysorg/sglang:v0.5.19-cu129-runtime
الملخص (Digest)sha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41
الترخيصApache-2.0
المصدرhttps://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE)

ما يُشغَّل فعليًا هو الملخص (digest). يمكن إعادة دفع الوسم، أما الملخص فلا، لذا فإن ما تسحبه مهمتك هو تمامًا ما تمت مراجعته.