batch-infer-lora
إكمالات المحادثة على دفعات باستخدام محوّل LoRA الخاص بك
يشغّل ملف دفعات بتنسيق OpenAI من طلبات /v1/chat/completions عبر vLLM مع تطبيق محوّل LoRA (مثل adapter.tar.gz الذي أنتجته مهمة finetune-lora)، ويكتب سطر نتيجة واحدًا لكل طلب، مثل batch-infer-vllm. النموذج الأساسي الافتراضي Qwen3-4B-Instruct-2507 (Apache-2.0)؛ ويجب أن يكون المحوّل قد دُرِّب على النموذج الأساسي نفسه.
- الحالة
- متاح
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - مدة التشغيل الافتراضية
- 1 h كحد أقصى
- الناشر
- Unify Compute
ما يقرؤه وما يكتبه
المُدخل /mnt/in | requests.jsonl: سطر دفعة واحد بتنسيق OpenAI لكل طلب، بعنوان url هو /v1/chat/completions؛ ويُتجاهل الحقل model، ويُطبَّق المحوّل على كل سطر |
|---|---|
المُدخل /mnt/adapter | adapter.tar.gz: مجلد محوّل PEFT LoRA (adapter_config.json وadapter_model.safetensors) بالصيغة التي يكتبها finetune-lora |
المُخرج /mnt/out | results.jsonl: سطر نتيجة دفعة واحد بتنسيق OpenAI لكل طلب، يُطابَق بواسطة custom_id، مع model = LORA_NAME |
ما يمكنك تغييره
يمكن عند الإرسال تحديد: GPU (SKU) (sku)، موضع التشغيل السحابي (providers)، متغيرات البيئة (spec.env)، الحد الأقصى لمدة التشغيل (spec.max_runtime_seconds). أما الصورة والمدخلات والمخرجات المُعلنة فثابتة: فالصورة المختلفة تعني قالبًا مختلفًا.
MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
MODEL_REVISION | cdbee75f17c01a7cc42f958dc650907174af0554 |
MAX_MODEL_LEN | 8192 |
MAX_LORA_RANK | 64 |
LORA_NAME | lora |
شغّله
مع حفظ المفتاح في $UNIFY_KEY (راجع دليل البدء السريع)، أعطِ كل مُدخل عنوان URL يبدأ بـ https://، عامًّا أو موقَّعًا مسبقًا، وينتهي باسم الملف المذكور أعلاه:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "batch-infer-lora",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
"mount": "/mnt/in"
},
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/adapter.tar.gz",
"mount": "/mnt/adapter"
}
]
}
}'تُحتسب تكلفة المهمة بحسب وقت GPU الذي تستخدمه وبسعر وحدة SKU، تمامًا مثل أي مهمة تكتبها بنفسك.
خلال فترة الإتاحة التدريجية، يُفعَّل تنفيذ مهام GPU لكل حساب على حدة. أنشئ حسابًا، ثم اطلب منا تفعيله كما يوضح دليل البدء السريع.
مصدر الصورة
| الصورة | ghcr.io/felixsphere/unify-compute-finetune:finetune-2026-10-04 |
|---|---|
| الملخص (Digest) | sha256:6d426175dcd0e2443df6da9cf68e96c079abe5a8b80d9f488d09019536272ac1 |
| الترخيص | Apache-2.0 |
| المصدر | ghcr.io/felixsphere/unify-compute-finetune, built by publish-image.yml run 37266527011 from main 150de552 (finetune/Dockerfile on vllm/vllm-openai:v0.30.0-cu129@sha256:a67f8f18…, Apache-2.0; adds TRL 1.14.1, PEFT 0.21.2, datasets 5.0.1, accelerate 1.15.0, jsonschema 4.26.0 and torchvision 0.29.0+cu130, removes torchaudio; linux/amd64 only; licences in THIRD-PARTY-LICENSES.md, Workload images) |
ما يُشغَّل فعليًا هو الملخص (digest). يمكن إعادة دفع الوسم، أما الملخص فلا، لذا فإن ما تسحبه مهمتك هو تمامًا ما تمت مراجعته.