NodionBot

O NodionBot é o componente de obtenção de páginas web do Nodion AI Gateway. Carrega uma página quando um cliente da Nodion chama a ferramenta web_fetch ou pede à ferramenta web_search que carregue o conteúdo dos resultados de pesquisa. Cada fetch é desencadeado em tempo real por um pedido de um cliente. O NodionBot não rastreia a web por iniciativa própria nem constrói um índice, e a Nodion não usa as páginas obtidas para treinar os seus próprios modelos de IA.

Como reconhecer o NodionBot

O NodionBot envia este user agent em cada pedido, incluindo o pedido do seu robots.txt:

NodionBot/1.0 (+https://nodion.com/bot)

Nunca se apresenta como um browser nem como outro bot. Se o seu site responder com 401, 403, 429 ou um desafio anti-bot, o NodionBot não volta a tentar com outra identidade nem tenta contornar o bloqueio. Em vez da página, o cliente recebe a sua resposta: o código de estado e o conteúdo devolvido, convertido em texto e possivelmente encurtado, a menos que se aplique uma tdm-reservation.

Controlar o acesso com robots.txt

O NodionBot lê o /robots.txt de cada host antes de obter uma página desse host, e de novo para cada host para onde um redirecionamento aponte. Segue o Robots Exclusion Protocol (RFC 9309). Um grupo para NodionBot tem prioridade; sem ele, aplica-se o grupo *. Para bloquear o NodionBot em todo o site:

User-agent: NodionBot
Disallow: /

Para o manter afastado apenas de uma parte do site:

User-agent: NodionBot
Disallow: /account/
Disallow: /drafts/

O NodionBot só pede o robots.txt quando um pedido de um cliente precisa dele, e no máximo uma vez a cada 24 horas por origem (esquema, host e porta) enquanto for possível ler o ficheiro, pelo que as alterações podem demorar esse tempo a aplicar-se. Um robots.txt inexistente (404), ou outra resposta 4xx exceto 429, significa que não há restrições, e esse resultado também é mantido durante 24 horas. Se não for possível obter o robots.txt (uma resposta 5xx ou 429, um erro de rede ou um timeout), o NodionBot continua a usar o último resultado obtido com sucesso durante até 30 dias e volta a perguntar no máximo a cada 10 minutos; sem esse resultado, não obtém nada do seu site e volta a perguntar no máximo a cada 5 minutos. Um pedido exatamente para /robots.txt (sem query) ignora a verificação de robots.txt e Content-Signal, como exige o RFC 9309; o bloqueio de domínio e a tdm-reservation continuam a aplicar-se.

Content-Signal: ai-input

O NodionBot obtém páginas como input para respostas de IA, que é exatamente o que descreve o sinal ai-input da Content Signals Policy. Se o grupo do robots.txt que se aplica ao NodionBot definir ai-input=no, o NodionBot não obtém a página, mesmo que o caminho seja permitido pelas restantes regras:

User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

Um sinal também pode ser limitado a um caminho, por exemplo Content-Signal: /docs/ ai-input=yes. Prevalece o caminho correspondente mais específico.

tdm-reservation

Se uma página for servida com o cabeçalho de resposta tdm-reservation: 1, ou contiver <meta name="tdm-reservation" content="1"> no head, o NodionBot não passa o seu conteúdo ao cliente. Um elemento meta tem prioridade sobre o cabeçalho.

Bloquear todo o seu domínio

Se preferir não depender do robots.txt, pode pedir-nos que bloqueemos o seu domínio para o NodionBot. Um domínio bloqueado inclui todos os seus subdomínios. Escreva para team@nodion.com e indique o domínio. Podemos pedir-lhe que demonstre que o controla, por exemplo enviando o pedido a partir de um endereço desse domínio ou adicionando um registo DNS que lhe indicaremos.

Contacto

Tem perguntas sobre o NodionBot ou viu um pedido dele que parece errado? Contacte-nos em team@nodion.com. Indique a hora do pedido, o URL e, se a tiver, a linha de log do seu servidor.