NodionBot

NodionBot es el componente de recuperación web del Nodion AI Gateway. Carga una página cuando un cliente de Nodion llama a la herramienta web_fetch o le pide a la herramienta web_search que cargue el contenido de sus resultados de búsqueda. Cada fetch se produce en tiempo real a raíz de la petición de un cliente. NodionBot no rastrea la web por su cuenta ni construye un índice, y Nodion no usa las páginas que recupera para entrenar sus propios modelos de IA.

Cómo reconocer a NodionBot

NodionBot envía este user agent en cada petición, incluida la petición de tu robots.txt:

NodionBot/1.0 (+https://nodion.com/bot)

Nunca se hace pasar por un navegador ni por otro bot. Si tu sitio responde con 401, 403, 429 o un bot challenge, NodionBot no vuelve a intentarlo con otra identidad ni intenta saltarse el bloqueo. En lugar de la página, el cliente recibe tu respuesta: su código de estado y el contenido que devolviste, convertido a texto y posiblemente recortado, salvo que se aplique una tdm-reservation.

Controla el acceso con robots.txt

NodionBot lee /robots.txt en cada host antes de recuperar una página de ese host, y de nuevo para cada host al que lleve una redirección. Sigue el Robots Exclusion Protocol (RFC 9309). Un grupo para NodionBot tiene prioridad; si no existe, se aplica el grupo *. Para bloquear NodionBot en todo tu sitio:

User-agent: NodionBot
Disallow: /

Para mantenerlo fuera solo de una parte del sitio:

User-agent: NodionBot
Disallow: /account/
Disallow: /drafts/

NodionBot solo solicita robots.txt cuando lo necesita la petición de un cliente, y como máximo una vez cada 24 horas por origen (esquema, host y puerto) mientras el archivo se pueda leer, así que los cambios pueden tardar ese tiempo en aplicarse. Un robots.txt inexistente (404), u otra respuesta 4xx salvo 429, significa que no hay restricciones, y ese resultado también se conserva durante 24 horas. Si no se puede obtener robots.txt (una respuesta 5xx o 429, un error de red o un timeout), NodionBot sigue usando el último resultado que obtuvo correctamente durante un máximo de 30 días y vuelve a preguntar como mucho cada 10 minutos; si no tiene ningún resultado así, no recupera nada de tu sitio y vuelve a preguntar como mucho cada 5 minutos. Una petición exactamente a /robots.txt (sin query string) se salta la comprobación de robots.txt y Content-Signal, como exige la RFC 9309; el bloqueo de dominio y tdm-reservation se siguen aplicando.

Content-Signal: ai-input

NodionBot recupera páginas como entrada para respuestas de IA, que es justo lo que describe la señal ai-input de la Content Signals Policy. Si el grupo de robots.txt que se aplica a NodionBot define ai-input=no, NodionBot no recupera la página, aunque la ruta esté permitida por lo demás:

User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

Una señal también se puede limitar a una ruta, por ejemplo Content-Signal: /docs/ ai-input=yes. Gana la ruta coincidente más específica.

tdm-reservation

Si una página se sirve con la cabecera de respuesta tdm-reservation: 1, o contiene <meta name="tdm-reservation" content="1"> en su head, NodionBot no pasa su contenido al cliente. Un elemento meta tiene prioridad sobre la cabecera.

Bloquea todo tu dominio

Si prefieres no depender de robots.txt, puedes pedirnos que bloqueemos tu dominio para NodionBot. Un dominio bloqueado incluye todos sus subdominios. Escribe a team@nodion.com indicando el dominio. Puede que te pidamos que demuestres que lo controlas, por ejemplo enviando la solicitud desde una dirección de ese dominio o añadiendo un registro DNS que te facilitemos.

Contacto

¿Tienes preguntas sobre NodionBot o has visto una petición suya que no parece correcta? Escríbenos a team@nodion.com. Incluye la hora de la petición, la URL y, si la tienes, la línea del log de tu servidor.