finetune-lora
평가를 포함한 LoRA 파인튜닝
레퍼런스 파인튜닝입니다. 제로샷 및 3샷 기준선, few-shot만으로 충분하면 중단하는 게이트, TRL과 PEFT를 사용한 LoRA SFT, 어댑터를 적용한 평가로 구성됩니다. 기본 베이스 모델은 Qwen3-4B-Instruct-2507(Apache-2.0)이며 기본적으로 온디맨드 A10G를 사용합니다(카탈로그에서 판매가 시작되면 sku를 a10g-24gb-x1-spot으로 재정의할 수 있습니다). 입력은 finetune/prepare_data.py --archive로 만든 data.tar.gz 하나이며, 어댑터는 adapter.tar.gz로 반환되어 batch-infer-lora의 입력으로 사용할 수 있습니다.
- 상태
- 사용 가능
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - 기본 실행 시간
- 최대 2 h
- 게시자
- Unify Compute
읽고 쓰는 항목
입력 /mnt/in | finetune/prepare_data.py --archive로 만든 data.tar.gz: train.jsonl, val.jsonl, test.jsonl 및 선택 사항인 schema.json(SCHEMA가 비어 있을 때 사용). 파일은 하나이며 명령이 압축을 풉니다. |
|---|---|
출력 /mnt/out | eval_zero_shot.json, eval_few_shot.json, eval_lora.json, adapter/ 및 adapter.tar.gz, timestamps.json, RESULT(completed 또는 task_not_worth_finetuning) |
변경할 수 있는 항목
제출 시 설정할 수 있는 항목: GPU(SKU) (sku), 클라우드 배치 (providers), 환경 변수 (spec.env), 최대 실행 시간 (spec.max_runtime_seconds). 이미지와 선언된 입력 및 출력은 고정되어 있습니다. 이미지가 다르면 다른 템플릿입니다.
BASE_MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
FEW_SHOT_GATE | 0.95 |
SCHEMA | "" |
실행하기
키를 $UNIFY_KEY에 저장한 상태에서(빠른 시작 참고) 각 입력에 위 파일 이름으로 끝나는 https:// URL(공개 또는 사전 서명 URL)을 지정합니다.
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "finetune-lora",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/data.tar.gz",
"mount": "/mnt/in"
}
]
}
}'작업은 직접 작성한 작업과 마찬가지로 사용한 GPU 시간에 SKU 요금을 적용해 과금됩니다.
이미지 출처
| 이미지 | ghcr.io/felixsphere/unify-compute-finetune:finetune-2026-10-04 |
|---|---|
| 다이제스트 | sha256:6d426175dcd0e2443df6da9cf68e96c079abe5a8b80d9f488d09019536272ac1 |
| 라이선스 | Apache-2.0 |
| 출처 | ghcr.io/felixsphere/unify-compute-finetune, built by publish-image.yml run 37266527011 from main 150de552 (finetune/Dockerfile on vllm/vllm-openai:v0.30.0-cu129@sha256:a67f8f18…, Apache-2.0; adds TRL 1.14.1, PEFT 0.21.2, datasets 5.0.1, accelerate 1.15.0, jsonschema 4.26.0 and torchvision 0.29.0+cu130, removes torchaudio; linux/amd64 only; licences in THIRD-PARTY-LICENSES.md, Workload images) |
실행되는 것은 다이제스트입니다. 태그는 다시 푸시될 수 있지만 다이제스트는 그렇지 않으므로, 작업은 검토된 바로 그 이미지를 가져옵니다.