finetune-lora
带评估的 LoRA 微调
参考微调流程:零样本和 3 样本基线;若少样本效果已经足够好则停止的关卡;使用 TRL 和 PEFT 的 LoRA SFT;以及带适配器的评估。默认基础模型为 Qwen3-4B-Instruct-2507(Apache-2.0);默认使用按需 A10G(目录开售后可将 sku 覆盖为 a10g-24gb-x1-spot)。输入是由 finetune/prepare_data.py --archive 生成的一个 data.tar.gz;适配器以 adapter.tar.gz 返回,可作为 batch-infer-lora 的输入。
- 状态
- 可用
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - 默认运行时长
- 最长 2 h
- 发布者
- Unify Compute
读取和写入的内容
输入 /mnt/in | 由 finetune/prepare_data.py --archive 生成的 data.tar.gz:train.jsonl、val.jsonl、test.jsonl,以及可选的 schema.json(SCHEMA 为空时使用)。只需一个文件,命令会自动解包。 |
|---|---|
输出 /mnt/out | eval_zero_shot.json、eval_few_shot.json、eval_lora.json、adapter/ 和 adapter.tar.gz、timestamps.json 以及 RESULT(completed 或 task_not_worth_finetuning) |
可以修改的内容
提交时可以设置:GPU(SKU) (sku)、云端部署位置 (providers)、环境变量 (spec.env)、最长运行时间 (spec.max_runtime_seconds)。镜像以及声明的输入和输出是固定的:换一个镜像就是另一个模板。
BASE_MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
FEW_SHOT_GATE | 0.95 |
SCHEMA | "" |
运行
将密钥保存在 $UNIFY_KEY 中(参见快速入门),为每个输入提供一个 https:// URL(公开或预签名均可),且以上面列出的文件名结尾:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "finetune-lora",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/data.tar.gz",
"mount": "/mnt/in"
}
]
}
}'任务按其使用的 GPU 时间、以该 SKU 的费率计费,与你自己编写的任务相同。
镜像来源
| 镜像 | ghcr.io/felixsphere/unify-compute-finetune:finetune-2026-10-04 |
|---|---|
| 摘要值 | sha256:6d426175dcd0e2443df6da9cf68e96c079abe5a8b80d9f488d09019536272ac1 |
| 许可证 | Apache-2.0 |
| 来源 | ghcr.io/felixsphere/unify-compute-finetune, built by publish-image.yml run 37266527011 from main 150de552 (finetune/Dockerfile on vllm/vllm-openai:v0.30.0-cu129@sha256:a67f8f18…, Apache-2.0; adds TRL 1.14.1, PEFT 0.21.2, datasets 5.0.1, accelerate 1.15.0, jsonschema 4.26.0 and torchvision 0.29.0+cu130, removes torchaudio; linux/amd64 only; licences in THIRD-PARTY-LICENSES.md, Workload images) |
实际运行的是摘要值。标签可以被重新推送,摘要值不能,因此你的任务拉取的正是经过审核的版本。