模板市场
开箱即用的模板
每个模板都把经过审核的镜像、命令和 GPU 归在一个名称下。将它指向你的数据,用你的密钥提交即可。你只为任务实际使用的 GPU 时间付费。
7 个模板 · 发布者:Unify Compute
batch-embed可用使用 vLLM 批量生成嵌入
使用 vLLM 的批处理运行器,为一个由 /v1/embeddings 请求组成的 OpenAI 批处理文件生成嵌入,每个请求写出一行结果。
- GPU
- NVIDIA A10G · 24 GB
- 默认运行时长
- 1 h
batch-extract-sglang可用使用 SGLang 进行结构化抽取
通过 SGLang 运行一个由 /v1/chat/completions(或 /v1/completions)请求组成的 OpenAI 批处理文件,每个回答都受你提供的同一个 JSON Schema 约束,并以与 batch-infer-sglang 相同的格式为每个请求写出一行结果。
- GPU
- NVIDIA A10G · 24 GB
- 默认运行时长
- 1 h
batch-infer-lora可用使用你的 LoRA 适配器批量生成对话补全
在应用 LoRA 适配器(例如 finetune-lora 任务产出的 adapter.tar.gz)的情况下,通过 vLLM 运行一个由 /v1/chat/completions 请求组成的 OpenAI 批处理文件,并像 batch-infer-vllm 一样为每个请求写出一行结果。
- GPU
- NVIDIA A10G · 24 GB
- 默认运行时长
- 1 h
batch-infer-lora-sglang可用使用 SGLang 和你的 LoRA 适配器批量生成对话补全
SGLang 版的 batch-infer-lora:在应用 LoRA 适配器(例如 finetune-lora 任务产出的 adapter.tar.gz)的情况下,运行一个由 /v1/chat/completions(或 /v1/completions)请求组成的 OpenAI 批处理文件,并为每个请求写出一行结果,model 为 LORA_NAME。
- GPU
- NVIDIA A10G · 24 GB
- 默认运行时长
- 1 h
batch-infer-sglang可用使用 SGLang 批量生成对话补全
通过在任务内启动的 SGLang 服务器运行一个由 /v1/chat/completions(或 /v1/completions)请求组成的 OpenAI 批处理文件,并以与 batch-infer-vllm 相同的格式为每个请求写出一行结果。
- GPU
- NVIDIA A10G · 24 GB
- 默认运行时长
- 1 h
batch-infer-vllm可用使用 vLLM 批量生成对话补全
通过 vLLM 的批处理运行器运行一个由 /v1/chat/completions 请求组成的 OpenAI 批处理文件,每个请求写出一行结果。
- GPU
- NVIDIA A10G · 24 GB
- 默认运行时长
- 1 h
finetune-lora可用带评估的 LoRA 微调
参考微调流程:零样本和 3 样本基线;若少样本效果已经足够好则停止的关卡;使用 TRL 和 PEFT 的 LoRA SFT;以及带适配器的评估。
- GPU
- NVIDIA A10G · 24 GB
- 默认运行时长
- 2 h
GPUs
为任务选择 GPU
| GPU | 显存 | vCPU · RAM | 层级 | 计费方式 | 状态 |
|---|---|---|---|---|---|
NVIDIA A10Ga10g-24gb-x1 | 24 GB | 4 · 16 GB | 超大规模云 | 按需 | 可用 |
NVIDIA A100 80GBa100-80gb-x1-neo | 80 GB | 30 · 200 GB | 新兴云 | 按需 | 即将推出 |
NVIDIA A10Ga10g-24gb-x1-spot | 24 GB | 4 · 16 GB | 超大规模云 | 竞价 | 即将推出 |
NVIDIA L4l4-24gb-x1 | 24 GB | 4 · 16 GB | 超大规模云 | 按需 | 即将推出 |
运行模板需要一个已开通 GPU 任务执行的账号。在逐步开放期间按账号开通;如何申请请参阅快速入门。