batch-extract-sglang
Extração estruturada com SGLang
Processa um arquivo de lote da OpenAI com requisições /v1/chat/completions (ou /v1/completions) no SGLang, com cada resposta restrita a um único JSON Schema fornecido por você, e grava uma linha de resultado por requisição, no mesmo formato do batch-infer-sglang. A decodificação é guiada por gramática, então cada resposta pode ser analisada e segue o schema, a menos que atinja max_tokens antes; o log informa quantas podem ser analisadas. Modelo padrão: Qwen3-4B-Instruct-2507 (Apache-2.0), baixado do Hugging Face na inicialização.
- Status
- Disponível
- GPU
- NVIDIA A10G · 24 GB
a10g-24gb-x1 - Tempo de execução padrão
- 1 h no máximo
- Publicador
- Unify Compute
O que ele lê e grava
Entrada /mnt/in | Diretório com requests.jsonl: uma linha de lote da OpenAI por requisição, com url /v1/chat/completions ou /v1/completions; o campo model é substituído por MODEL e qualquer response_format pelo schema |
|---|---|
Entrada /mnt/schema | schema.json: o JSON Schema que toda resposta precisa seguir |
Saída /mnt/out | results.jsonl: uma linha de resultado de lote da OpenAI por requisição, na ordem de entrada, associada por custom_id; o conteúdo de cada resposta é um documento JSON que segue schema.json |
O que você pode alterar
Um envio pode definir: GPU (SKU) (sku), Posicionamento na nuvem (providers), Variáveis de ambiente (spec.env), Tempo máximo de execução (spec.max_runtime_seconds). A imagem e as entradas e saídas declaradas são fixas: uma imagem diferente é um template diferente.
MODEL | Qwen/Qwen3-4B-Instruct-2507 |
|---|---|
MODEL_REVISION | cdbee75f17c01a7cc42f958dc650907174af0554 |
MAX_MODEL_LEN | 8192 |
CONCURRENCY | 64 |
Execute
Com uma chave em $UNIFY_KEY (veja o guia de início rápido), informe para cada entrada uma URL https://, pública ou pré-assinada, que termine no nome de arquivo acima:
curl -s https://api.compute.unifyai.us/compute/v1/jobs \
-H "Authorization: Bearer $UNIFY_KEY" \
-H "Content-Type: application/json" \
-d '{
"template": "batch-extract-sglang",
"spec": {
"inputs": [
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/requests.jsonl",
"mount": "/mnt/in"
},
{
"source": "https://YOUR-BUCKET.s3.amazonaws.com/schema.json",
"mount": "/mnt/schema"
}
]
}
}'O job é cobrado pelo tempo de GPU que usa, na tarifa do SKU, igual a um job que você mesmo escreve.
Durante a liberação, a execução de jobs em GPU é ativada conta a conta. Crie uma conta e depois peça a ativação, como descrito no guia de início rápido.
De onde vem a imagem
| Imagem | lmsysorg/sglang:v0.5.19-cu129-runtime |
|---|---|
| Digest | sha256:fe08f6f52bea380415792849a703d92279c86320f8c39283bcd04043f8b63c41 |
| Licença | Apache-2.0 |
| Origem | https://hub.docker.com/r/lmsysorg/sglang (tag v0.5.19-cu129-runtime, pushed 2026-09-04, the newest CUDA 12.9 build; multi-arch index read from registry-1.docker.io on 2026-11-06; LICENSE at github.com/sgl-project/sglang/blob/v0.5.19/LICENSE) |
O que roda é o digest. Uma tag pode ser enviada de novo; um digest não, então o seu job baixa exatamente o que foi revisado.