Marketplace
Vorlagen, sofort einsatzbereit
Jede Vorlage fasst ein geprüftes Image, einen Befehl und eine GPU unter einem Namen zusammen. Verweisen Sie auf Ihre Daten und reichen Sie sie mit Ihrem Schlüssel ein. Sie zahlen nur die GPU-Zeit, die der Job tatsächlich nutzt.
7 Vorlagen · veröffentlicht von Unify Compute
batch-embedVerfügbarEmbeddings im Batch mit vLLM
Berechnet Embeddings für eine OpenAI-Batch-Datei mit /v1/embeddings-Anfragen mit dem Batch-Runner von vLLM und schreibt eine Ergebniszeile pro Anfrage.
- GPU
- NVIDIA A10G · 24 GB
- Standardlaufzeit
- 1 h
batch-extract-sglangVerfügbarStrukturierte Extraktion mit SGLang
Verarbeitet eine OpenAI-Batch-Datei mit /v1/chat/completions- (oder /v1/completions-)Anfragen über SGLang, wobei jede Antwort auf ein von Ihnen vorgegebenes JSON Schema beschränkt ist, und schreibt pro Anfrage eine Ergebniszeile im selben Format wie batch-infer-sglang.
- GPU
- NVIDIA A10G · 24 GB
- Standardlaufzeit
- 1 h
batch-infer-loraVerfügbarChat-Completions im Batch mit Ihrem LoRA-Adapter
Verarbeitet eine OpenAI-Batch-Datei mit /v1/chat/completions-Anfragen in vLLM mit angewendetem LoRA-Adapter (zum Beispiel dem adapter.tar.gz, das ein finetune-lora-Job erzeugt hat) und schreibt wie batch-infer-vllm eine Ergebniszeile pro Anfrage.
- GPU
- NVIDIA A10G · 24 GB
- Standardlaufzeit
- 1 h
batch-infer-lora-sglangVerfügbarChat-Completions im Batch mit Ihrem LoRA-Adapter auf SGLang
batch-infer-lora auf SGLang: Verarbeitet eine OpenAI-Batch-Datei mit /v1/chat/completions- (oder /v1/completions-)Anfragen mit angewendetem LoRA-Adapter (zum Beispiel dem adapter.tar.gz, das ein finetune-lora-Job erzeugt hat) und schreibt pro Anfrage eine Ergebniszeile, model = LORA_NAME.
- GPU
- NVIDIA A10G · 24 GB
- Standardlaufzeit
- 1 h
batch-infer-sglangVerfügbarChat-Completions im Batch mit SGLang
Verarbeitet eine OpenAI-Batch-Datei mit /v1/chat/completions- (oder /v1/completions-)Anfragen über einen im Job gestarteten SGLang-Server und schreibt pro Anfrage eine Ergebniszeile im selben Format wie batch-infer-vllm.
- GPU
- NVIDIA A10G · 24 GB
- Standardlaufzeit
- 1 h
batch-infer-vllmVerfügbarChat-Completions im Batch mit vLLM
Verarbeitet eine OpenAI-Batch-Datei mit /v1/chat/completions-Anfragen mit dem Batch-Runner von vLLM und schreibt eine Ergebniszeile pro Anfrage.
- GPU
- NVIDIA A10G · 24 GB
- Standardlaufzeit
- 1 h
finetune-loraVerfügbarLoRA-Fine-Tuning mit Evaluierung
Das Referenz-Fine-Tuning: Zero-Shot- und 3-Shot-Baselines, ein Gate, das abbricht, wenn Few-Shot bereits gut genug ist, LoRA-SFT mit TRL und PEFT sowie eine Evaluierung mit dem Adapter.
- GPU
- NVIDIA A10G · 24 GB
- Standardlaufzeit
- 2 h
GPUs
Die passende GPU für den Job wählen
| GPU | Speicher | vCPU · RAM | Stufe | Abrechnung | Status |
|---|---|---|---|---|---|
NVIDIA A10Ga10g-24gb-x1 | 24 GB | 4 · 16 GB | Hyperscaler | On-Demand | Verfügbar |
NVIDIA A100 80GBa100-80gb-x1-neo | 80 GB | 30 · 200 GB | Neocloud | On-Demand | Demnächst |
NVIDIA A10Ga10g-24gb-x1-spot | 24 GB | 4 · 16 GB | Hyperscaler | Spot | Demnächst |
NVIDIA L4l4-24gb-x1 | 24 GB | 4 · 16 GB | Hyperscaler | On-Demand | Demnächst |
Zum Ausführen einer Vorlage brauchen Sie ein Konto mit freigeschalteter GPU-Job-Ausführung. Während der Einführung wird sie pro Konto freigeschaltet; wie Sie sie anfragen, steht im Schnellstart.