NodionBot

NodionBot est le composant de récupération de pages web de Nodion AI Gateway. Il charge une page lorsqu'un client Nodion appelle l'outil web_fetch ou demande à l'outil web_search de charger le contenu de ses résultats de recherche. Chaque récupération est déclenchée en temps réel par une requête d'un client. NodionBot n'explore pas le web de lui-même, ne construit pas d'index et Nodion n'utilise pas les pages récupérées pour entraîner ses propres modèles d'IA.

Comment reconnaître NodionBot

NodionBot envoie ce user agent avec chaque requête, y compris la requête de votre robots.txt :

NodionBot/1.0 (+https://nodion.com/bot)

Il ne se fait jamais passer pour un navigateur ni pour un autre bot. Si votre site répond par 401, 403, 429 ou un défi antibot, NodionBot ne réessaie pas sous une autre identité et ne cherche pas à contourner le blocage. Le client reçoit votre réponse à la place de la page : le code de statut et le contenu que vous avez renvoyé, converti en texte et éventuellement tronqué, sauf si une tdm-reservation s'applique.

Contrôler l'accès avec robots.txt

NodionBot lit /robots.txt sur chaque hôte avant d'y récupérer une page, puis sur chaque hôte vers lequel mène une redirection. Il suit le Robots Exclusion Protocol (RFC 9309). Un groupe pour NodionBot est prioritaire ; à défaut, le groupe * s'applique. Pour bloquer NodionBot sur l'ensemble de votre site :

User-agent: NodionBot
Disallow: /

Pour l'exclure d'une partie du site seulement :

User-agent: NodionBot
Disallow: /account/
Disallow: /drafts/

NodionBot ne demande robots.txt que lorsqu'une requête d'un client en a besoin, et au plus une fois toutes les 24 heures par origine (schéma, hôte et port) tant que le fichier est lisible ; les modifications peuvent donc mettre jusqu'à 24 heures à s'appliquer. Un robots.txt absent (404), ou une autre réponse 4xx sauf 429, signifie qu'aucune restriction ne s'applique, et ce résultat est lui aussi conservé 24 heures. Si robots.txt ne peut pas être récupéré (une réponse 5xx ou 429, une erreur réseau ou un délai d'attente dépassé), NodionBot continue d'utiliser le dernier résultat obtenu avec succès pendant 30 jours au maximum et réessaie au plus toutes les 10 minutes ; sans un tel résultat, il ne récupère rien sur votre site et réessaie au plus toutes les 5 minutes. Une requête portant exactement sur /robots.txt (sans paramètres de requête) n'est pas soumise à la vérification robots.txt et Content-Signal, comme l'exige la RFC 9309 ; le blocage d'un domaine et tdm-reservation s'appliquent toujours.

Content-Signal: ai-input

NodionBot récupère des pages comme entrée pour des réponses d'IA, ce que décrit précisément le signal ai-input de la Content Signals Policy. Si le groupe robots.txt qui s'applique à NodionBot définit ai-input=no, NodionBot ne récupère pas la page, même si le chemin est autorisé par ailleurs :

User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

Un signal peut aussi être limité à un chemin, par exemple Content-Signal: /docs/ ai-input=yes. Le chemin correspondant le plus spécifique l'emporte.

tdm-reservation

Si une page est servie avec l'en-tête de réponse tdm-reservation: 1 ou contient <meta name="tdm-reservation" content="1"> dans son élément head, NodionBot ne transmet pas son contenu au client. La balise meta est prioritaire sur l'en-tête.

Bloquer tout votre domaine

Si vous préférez ne pas vous reposer sur robots.txt, vous pouvez nous demander de bloquer votre domaine pour NodionBot. Un domaine bloqué inclut tous ses sous-domaines. Écrivez à team@nodion.com en indiquant le domaine. Nous pouvons vous demander de prouver que vous le contrôlez, par exemple en envoyant la demande depuis une adresse de ce domaine ou en ajoutant un enregistrement DNS que nous vous fournissons.

Contact

Une question sur NodionBot, ou une requête de sa part qui semble anormale ? Écrivez-nous à team@nodion.com. Merci d'indiquer l'heure de la requête, l'URL et, si vous l'avez, la ligne de log de votre serveur.