Skip to main content

Crawl

O endpoint POST /crawl inicia um crawl BFS (busca em largura) a partir de uma URL semente. Ele descobre links internos recursivamente e extrai o conteúdo em Markdown de cada página encontrada.

Endpoint

Autenticação

Header X-API-Key obrigatório. Veja Autenticação.

Parâmetros

string
obrigatório
URL semente para iniciar o crawl. SSRF guard aplicado na seed e em cada link descoberto.
integer
obrigatório
Número máximo de páginas a rastrear (1–50). Valor recomendado: 10. Sem valor default — omitir resulta em erro 422.

Custo

1 crédito por página bem-sucedida.
A partir de 5 créditos estimados, o Playground solicita confirmação do usuário antes de iniciar. Páginas com falha (bloqueio, timeout) não consomem créditos.

Fluxo assíncrono

  1. Envie POST /crawl → receba 202 com job_id
  2. Poll via GET /jobs/{job_id} a cada 2s
  3. Quando status: "SUCCESS", os resultados estão no campo results
  4. O campo stopped_reason pode indicar max_pages se o limite foi atingido

Exemplo

Resposta de sucesso (via polling)

Limites

Erros