마켓플레이스
바로 실행할 수 있는 템플릿
각 템플릿은 검토를 거친 이미지, 명령, GPU를 하나의 이름으로 묶은 것입니다. 데이터를 지정하고 키로 제출하기만 하면 됩니다. 작업이 사용한 GPU 시간만큼만 비용을 지불합니다.
템플릿 7개 · 게시자: Unify Compute
batch-embed사용 가능vLLM으로 임베딩 일괄 처리
/v1/embeddings 요청으로 이루어진 OpenAI 배치 파일을 vLLM의 배치 러너로 임베딩하고, 요청마다 결과 한 줄을 기록합니다.
- GPU
- NVIDIA A10G · 24 GB
- 기본 실행 시간
- 1 h
batch-extract-sglang사용 가능SGLang으로 구조화된 추출
/v1/chat/completions(또는 /v1/completions) 요청으로 이루어진 OpenAI 배치 파일을 SGLang으로 실행하면서 모든 답변을 직접 제공한 하나의 JSON Schema로 제한하고, batch-infer-sglang과 같은 형식으로 요청마다 결과 한 줄을 기록합니다.
- GPU
- NVIDIA A10G · 24 GB
- 기본 실행 시간
- 1 h
batch-infer-lora사용 가능LoRA 어댑터로 채팅 완성 일괄 처리
/v1/chat/completions 요청으로 이루어진 OpenAI 배치 파일을 LoRA 어댑터(예: finetune-lora 작업이 생성한 adapter.tar.gz)를 적용한 vLLM으로 실행하고, batch-infer-vllm처럼 요청마다 결과 한 줄을 기록합니다.
- GPU
- NVIDIA A10G · 24 GB
- 기본 실행 시간
- 1 h
batch-infer-lora-sglang사용 가능SGLang과 LoRA 어댑터로 채팅 완성 일괄 처리
SGLang판 batch-infer-lora: /v1/chat/completions(또는 /v1/completions) 요청으로 이루어진 OpenAI 배치 파일을 LoRA 어댑터(예: finetune-lora 작업이 생성한 adapter.tar.gz)를 적용해 실행하고, 요청마다 결과 한 줄을 기록합니다(model은 LORA_NAME).
- GPU
- NVIDIA A10G · 24 GB
- 기본 실행 시간
- 1 h
batch-infer-sglang사용 가능SGLang으로 채팅 완성 일괄 처리
/v1/chat/completions(또는 /v1/completions) 요청으로 이루어진 OpenAI 배치 파일을 작업 안에서 시작한 SGLang 서버로 실행하고, batch-infer-vllm과 같은 형식으로 요청마다 결과 한 줄을 기록합니다.
- GPU
- NVIDIA A10G · 24 GB
- 기본 실행 시간
- 1 h
batch-infer-vllm사용 가능vLLM으로 채팅 완성 일괄 처리
/v1/chat/completions 요청으로 이루어진 OpenAI 배치 파일을 vLLM의 배치 러너로 실행하고, 요청마다 결과 한 줄을 기록합니다.
- GPU
- NVIDIA A10G · 24 GB
- 기본 실행 시간
- 1 h
finetune-lora사용 가능평가를 포함한 LoRA 파인튜닝
레퍼런스 파인튜닝입니다. 제로샷 및 3샷 기준선, few-shot만으로 충분하면 중단하는 게이트, TRL과 PEFT를 사용한 LoRA SFT, 어댑터를 적용한 평가로 구성됩니다.
- GPU
- NVIDIA A10G · 24 GB
- 기본 실행 시간
- 2 h
GPUs
작업에 맞는 GPU 선택
| GPU | 메모리 | vCPU · RAM | 티어 | 과금 방식 | 상태 |
|---|---|---|---|---|---|
NVIDIA A10Ga10g-24gb-x1 | 24 GB | 4 · 16 GB | 하이퍼스케일러 | 온디맨드 | 사용 가능 |
NVIDIA A100 80GBa100-80gb-x1-neo | 80 GB | 30 · 200 GB | 네오클라우드 | 온디맨드 | 출시 예정 |
NVIDIA A10Ga10g-24gb-x1-spot | 24 GB | 4 · 16 GB | 하이퍼스케일러 | 스팟 | 출시 예정 |
NVIDIA L4l4-24gb-x1 | 24 GB | 4 · 16 GB | 하이퍼스케일러 | 온디맨드 | 출시 예정 |
템플릿을 실행하려면 GPU 작업 실행이 활성화된 계정이 필요합니다. 단계적 제공 기간에는 계정별로 활성화하며, 요청 방법은 빠른 시작에 나와 있습니다.