NodionBot

NodionBot is binnen de Nodion AI Gateway de functie voor het ophalen van webpagina's. Hij laadt een pagina wanneer een Nodion-klant de tool web_fetch aanroept, of de tool web_search vraagt om de inhoud van de zoekresultaten te laden. Elke fetch wordt in realtime gestart door een request van een klant. NodionBot crawlt het web niet uit zichzelf en bouwt geen index, en Nodion gebruikt de opgehaalde pagina's niet om eigen AI-modellen te trainen.

Zo herken je NodionBot

NodionBot stuurt deze user agent mee met elk request, ook met het request voor je robots.txt:

NodionBot/1.0 (+https://nodion.com/bot)

Hij doet zich nooit voor als browser of als andere bot. Antwoordt je site met 401, 403, 429 of een botchallenge, dan probeert NodionBot het niet opnieuw onder een andere identiteit en probeert hij de blokkade niet te omzeilen. De klant krijgt jouw antwoord in plaats van de pagina: de statuscode en de inhoud die je terugstuurde, omgezet naar tekst en mogelijk ingekort, tenzij er een tdm-reservation geldt.

Toegang regelen met robots.txt

NodionBot leest /robots.txt op elke host voordat hij daar een pagina ophaalt, en opnieuw voor elke host waar een redirect naartoe leidt. Hij volgt het Robots Exclusion Protocol (RFC 9309). Een groep voor NodionBot heeft voorrang; zonder die groep geldt de groep *. Zo blokkeer je NodionBot voor je hele site:

User-agent: NodionBot
Disallow: /

Zo houd je hem alleen uit een deel van de site:

User-agent: NodionBot
Disallow: /account/
Disallow: /drafts/

NodionBot vraagt robots.txt alleen op als een request van een klant dat nodig heeft, en hoogstens eens per 24 uur per origin (schema, host en poort) zolang het bestand leesbaar is. Wijzigingen kunnen dus zo lang duren voordat ze gelden. Een ontbrekende robots.txt (404) of een ander 4xx-antwoord behalve 429 betekent dat er geen beperkingen gelden, en ook dat resultaat blijft 24 uur bewaard. Kan robots.txt niet worden opgehaald (een 5xx- of 429-antwoord, een netwerkfout of een time-out), dan gebruikt NodionBot het laatste succesvol ontvangen resultaat nog tot 30 dagen en vraagt hij hoogstens elke 10 minuten opnieuw; zonder zo'n resultaat haalt hij niets van je site op en vraagt hij hoogstens elke 5 minuten opnieuw. Een request naar precies /robots.txt (zonder query) slaat de controle van robots.txt en Content-Signal over, zoals RFC 9309 voorschrijft; een domeinblokkade en tdm-reservation blijven gelden.

Content-Signal: ai-input

NodionBot haalt pagina's op als input voor AI-antwoorden, en dat is precies wat het signaal ai-input van de Content Signals Policy beschrijft. Zet in de robots.txt-groep die voor NodionBot geldt ai-input=no, dan haalt NodionBot de pagina niet op, ook als het pad verder is toegestaan:

User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

Een signaal kan ook tot een pad beperkt zijn, bijvoorbeeld Content-Signal: /docs/ ai-input=yes. Het meest specifieke overeenkomende pad wint.

tdm-reservation

Wordt een pagina geserveerd met de response-header tdm-reservation: 1, of bevat ze <meta name="tdm-reservation" content="1"> in de head, dan geeft NodionBot de inhoud niet door aan de klant. Een meta-element gaat voor op de header.

Je hele domein blokkeren

Wil je niet op robots.txt vertrouwen, dan kun je ons vragen je domein voor NodionBot te blokkeren. Een geblokkeerd domein omvat al zijn subdomeinen. Mail ons op team@nodion.com en noem het domein. We kunnen je vragen aan te tonen dat je het beheert, bijvoorbeeld door het verzoek te sturen vanaf een adres op dat domein of door een DNS-record toe te voegen dat wij je geven.

Contact

Vragen over NodionBot, of een request van NodionBot dat niet lijkt te kloppen? Neem contact met ons op via team@nodion.com. Vermeld het tijdstip van het request, de URL en, als je die hebt, de logregel van je server.