finetune-lora
Fine-tuning LoRA com avaliação
O fine-tuning de referência: linhas de base zero-shot e 3-shot, uma verificação que interrompe se o few-shot já for suficiente, LoRA SFT com TRL e PEFT e uma avaliação com o adaptador. Modelo base padrão: Qwen3-4B-Instruct-2507 (Apache-2.0); A10G sob demanda por padrão (substitua sku por a10g-24gb-x1-spot quando o catálogo passar a oferecê-la). A entrada é um único data.tar.gz gerado por finetune/prepare_data.py --archive; o adaptador volta como adapter.tar.gz, que o batch-infer-lora recebe como entrada.
- Status
- Disponível
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - Tempo de execução padrão
- 2 h no máximo
- Publicador
- Unify Compute
O que ele lê e grava
Entrada /mnt/in | data.tar.gz gerado por finetune/prepare_data.py --archive: train.jsonl, val.jsonl, test.jsonl e, opcionalmente, schema.json (usado quando SCHEMA está vazio). Um único arquivo; o comando o descompacta. |
|---|---|
Saída /mnt/out | eval_zero_shot.json, eval_few_shot.json, eval_lora.json, adapter/ e adapter.tar.gz, timestamps.json e RESULT (completed ou task_not_worth_finetuning) |
O que você pode alterar
Um envio pode definir: GPU (SKU) (sku), Posicionamento na nuvem (providers), Variáveis de ambiente (spec.env), Tempo máximo de execução (spec.max_runtime_seconds). A imagem e as entradas e saídas declaradas são fixas: uma imagem diferente é um template diferente.
BASE_MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
FEW_SHOT_GATE | 0.95 |
SCHEMA | "" |
Execute
Com uma chave em $UNIFY_KEY (veja o guia de início rápido), informe para cada entrada uma URL https://, pública ou pré-assinada, que termine no nome de arquivo acima:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "finetune-lora",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/data.tar.gz",
"mount": "/mnt/in"
}
]
}
}'O job é cobrado pelo tempo de GPU que usa, na tarifa do SKU, igual a um job que você mesmo escreve.
Durante a liberação, a execução de jobs em GPU é ativada conta a conta. Crie uma conta e depois peça a ativação, como descrito no guia de início rápido.
De onde vem a imagem
| Imagem | ghcr.io/felixsphere/unify-compute-finetune:finetune-2026-10-04 |
|---|---|
| Digest | sha256:6d426175dcd0e2443df6da9cf68e96c079abe5a8b80d9f488d09019536272ac1 |
| Licença | Apache-2.0 |
| Origem | ghcr.io/felixsphere/unify-compute-finetune, built by publish-image.yml run 37266527011 from main 150de552 (finetune/Dockerfile on vllm/vllm-openai:v0.30.0-cu129@sha256:a67f8f18…, Apache-2.0; adds TRL 1.14.1, PEFT 0.21.2, datasets 5.0.1, accelerate 1.15.0, jsonschema 4.26.0 and torchvision 0.29.0+cu130, removes torchaudio; linux/amd64 only; licences in THIRD-PARTY-LICENSES.md, Workload images) |
O que roda é o digest. Uma tag pode ser enviada de novo; um digest não, então o seu job baixa exatamente o que foi revisado.