batch-extract-sglang
استخراج منظَّم باستخدام SGLang
يشغّل ملف دفعات بتنسيق OpenAI من طلبات /v1/chat/completions (أو /v1/completions) عبر SGLang مع تقييد كل إجابة بمخطط JSON Schema واحد تقدّمه أنت، ويكتب سطر نتيجة واحدًا لكل طلب بالشكل نفسه الذي يستخدمه batch-infer-sglang. يوجّه النحوُ عملية فك الترميز، لذا تكون كل إجابة قابلة للتحليل ومطابقة للمخطط ما لم تبلغ max_tokens أولًا؛ ويذكر السجل عدد الإجابات القابلة للتحليل. النموذج الافتراضي Qwen3-4B-Instruct-2507 (Apache-2.0)، ويُنزَّل من Hugging Face عند البدء.
- الحالة
- متاح
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - مدة التشغيل الافتراضية
- 1 h كحد أقصى
- الناشر
- Unify Compute
ما يقرؤه وما يكتبه
المُدخل /mnt/in | مجلد يحتوي على requests.jsonl: سطر دفعة واحد بتنسيق OpenAI لكل طلب، بعنوان url هو /v1/chat/completions أو /v1/completions؛ ويُستبدل الحقل model بقيمة MODEL وأي response_format بالمخطط |
|---|---|
المُدخل /mnt/schema | schema.json: مخطط JSON Schema الذي يجب أن تطابقه كل إجابة |
المُخرج /mnt/out | results.jsonl: سطر نتيجة دفعة واحد بتنسيق OpenAI لكل طلب، بترتيب الإدخال، يُطابَق بواسطة custom_id؛ ومحتوى كل إجابة مستند JSON يطابق schema.json |
ما يمكنك تغييره
يمكن عند الإرسال تحديد: GPU (SKU) (sku)، موضع التشغيل السحابي (providers)، متغيرات البيئة (spec.env)، الحد الأقصى لمدة التشغيل (spec.max_runtime_seconds). أما الصورة والمدخلات والمخرجات المُعلنة فثابتة: فالصورة المختلفة تعني قالبًا مختلفًا.
MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
MODEL_REVISION | cdbee75f17c01a7cc42f958dc650907174af0554 |
MAX_MODEL_LEN | 8192 |
CONCURRENCY | 64 |
شغّله
مع حفظ المفتاح في $UNIFY_KEY (راجع دليل البدء السريع)، أعطِ كل مُدخل عنوان URL يبدأ بـ https://، عامًّا أو موقَّعًا مسبقًا، وينتهي باسم الملف المذكور أعلاه:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "batch-extract-sglang",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
"mount": "/mnt/in"
},
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/schema.json",
"mount": "/mnt/schema"
}
]
}
}'تُحتسب تكلفة المهمة بحسب وقت GPU الذي تستخدمه وبسعر وحدة SKU، تمامًا مثل أي مهمة تكتبها بنفسك.
خلال فترة الإتاحة التدريجية، يُفعَّل تنفيذ مهام GPU لكل حساب على حدة. أنشئ حسابًا، ثم اطلب منا تفعيله كما يوضح دليل البدء السريع.
مصدر الصورة
| الصورة | lmsysorg/sglang:v0.5.19-cu129-runtime |
|---|---|
| الملخص (Digest) | sha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41 |
| الترخيص | Apache-2.0 |
| المصدر | https://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE) |
ما يُشغَّل فعليًا هو الملخص (digest). يمكن إعادة دفع الوسم، أما الملخص فلا، لذا فإن ما تسحبه مهمتك هو تمامًا ما تمت مراجعته.