マーケットプレイス
すぐに実行できるテンプレート
各テンプレートは、レビュー済みのイメージ、コマンド、GPU をひとつの名前にまとめたものです。データを指定し、キーで送信するだけです。お支払いはジョブが使用した GPU 時間分のみです。
7 件のテンプレート · 提供元:Unify Compute
batch-embed利用可能vLLM による埋め込みのバッチ処理
/v1/embeddings リクエストからなる OpenAI バッチファイルを vLLM のバッチランナーで埋め込みに変換し、リクエストごとに 1 行の結果を書き出します。
- GPU
- NVIDIA A10G · 24 GB
- 既定の実行時間
- 1 h
batch-extract-sglang利用可能SGLang による構造化抽出
/v1/chat/completions(または /v1/completions)リクエストからなる OpenAI バッチファイルを SGLang で処理し、すべての回答を指定した 1 つの JSON Schema に従わせて、batch-infer-sglang と同じ形式でリクエストごとに 1 行の結果を書き出します。
- GPU
- NVIDIA A10G · 24 GB
- 既定の実行時間
- 1 h
batch-infer-lora利用可能LoRA アダプターを使ったチャット補完のバッチ処理
/v1/chat/completions リクエストからなる OpenAI バッチファイルを、LoRA アダプター(たとえば finetune-lora ジョブが生成した adapter.tar.gz)を適用した vLLM で処理し、batch-infer-vllm と同様にリクエストごとに 1 行の結果を書き出します。
- GPU
- NVIDIA A10G · 24 GB
- 既定の実行時間
- 1 h
batch-infer-lora-sglang利用可能SGLang と LoRA アダプターを使ったチャット補完のバッチ処理
SGLang 版の batch-infer-lora:/v1/chat/completions(または /v1/completions)リクエストからなる OpenAI バッチファイルを、LoRA アダプター(たとえば finetune-lora ジョブが生成した adapter.tar.gz)を適用して処理し、リクエストごとに 1 行の結果を書き出します(model は LORA_NAME)。
- GPU
- NVIDIA A10G · 24 GB
- 既定の実行時間
- 1 h
batch-infer-sglang利用可能SGLang によるチャット補完のバッチ処理
/v1/chat/completions(または /v1/completions)リクエストからなる OpenAI バッチファイルを、ジョブ内で起動した SGLang サーバーで処理し、batch-infer-vllm と同じ形式でリクエストごとに 1 行の結果を書き出します。
- GPU
- NVIDIA A10G · 24 GB
- 既定の実行時間
- 1 h
batch-infer-vllm利用可能vLLM によるチャット補完のバッチ処理
/v1/chat/completions リクエストからなる OpenAI バッチファイルを vLLM のバッチランナーで処理し、リクエストごとに 1 行の結果を書き出します。
- GPU
- NVIDIA A10G · 24 GB
- 既定の実行時間
- 1 h
finetune-lora利用可能評価付き LoRA ファインチューニング
リファレンスのファインチューニングです:ゼロショットと 3 ショットのベースライン、few-shot で十分な場合に停止するゲート、TRL と PEFT による LoRA SFT、そしてアダプターを使った評価を行います。
- GPU
- NVIDIA A10G · 24 GB
- 既定の実行時間
- 2 h
GPUs
ジョブに合った GPU を選ぶ
| GPU | メモリ | vCPU · RAM | ティア | 課金方式 | ステータス |
|---|---|---|---|---|---|
NVIDIA A10Ga10g-24gb-x1 | 24 GB | 4 · 16 GB | ハイパースケーラー | オンデマンド | 利用可能 |
NVIDIA A100 80GBa100-80gb-x1-neo | 80 GB | 30 · 200 GB | ネオクラウド | オンデマンド | 近日提供 |
NVIDIA A10Ga10g-24gb-x1-spot | 24 GB | 4 · 16 GB | ハイパースケーラー | スポット | 近日提供 |
NVIDIA L4l4-24gb-x1 | 24 GB | 4 · 16 GB | ハイパースケーラー | オンデマンド | 近日提供 |
テンプレートの実行には、GPU ジョブ実行が有効なアカウントが必要です。提供開始までの間はアカウント単位で有効化しています。依頼方法はクイックスタートをご覧ください。