NodionBot

NodionBot ist der Webabruf des Nodion AI Gateway. Er lädt eine Seite, wenn ein Nodion-Kunde das Tool web_fetch aufruft oder web_search bittet, den Inhalt seiner Suchergebnisse zu laden. Jeder Fetch kommt in Echtzeit von einer Kundenanfrage. NodionBot crawlt das Web nicht von allein und baut keinen Index. Nodion nutzt die abgerufenen Seiten nicht, um eigene KI-Modelle zu trainieren.

So erkennst du NodionBot

NodionBot sendet diesen User-Agent mit jeder Anfrage, auch mit der Anfrage an deine robots.txt:

NodionBot/1.0 (+https://nodion.com/bot)

Er gibt sich nie als Browser oder als anderer Bot aus. Antwortet deine Site mit 401, 403, 429 oder einer Bot-Challenge, versucht NodionBot es nicht unter einer anderen Identität und umgeht den Block nicht. Der Kunde bekommt deine Antwort statt der Seite: Statuscode und den zurückgegebenen Inhalt, als Text und ggf. gekürzt, sofern kein tdm-reservation greift.

Zugriff mit robots.txt steuern

NodionBot liest /robots.txt auf jedem Host, bevor er dort eine Seite holt, und erneut für jeden Host, zu dem eine Weiterleitung führt. Er folgt dem Robots Exclusion Protocol (RFC 9309). Eine Gruppe für NodionBot hat Vorrang; ohne sie gilt die Gruppe *. Um NodionBot von der ganzen Site fernzuhalten:

User-agent: NodionBot
Disallow: /

Um ihn nur aus einem Teil der Site herauszuhalten:

User-agent: NodionBot
Disallow: /account/
Disallow: /drafts/

NodionBot fordert robots.txt nur an, wenn eine Kundenanfrage sie braucht, und höchstens einmal alle 24 Stunden pro Origin (Schema, Host und Port), solange die Datei lesbar ist. Änderungen können so lange dauern. Eine fehlende robots.txt (404) oder eine andere 4xx-Antwort außer 429 bedeutet keine Einschränkungen; dieses Ergebnis bleibt ebenfalls 24 Stunden. Lässt sich robots.txt nicht holen (5xx oder 429, Netzwerkfehler oder Timeout), nutzt NodionBot das letzte erfolgreiche Ergebnis bis zu 30 Tage und fragt höchstens alle 10 Minuten erneut; ohne solches Ergebnis holt er nichts von deiner Site und fragt höchstens alle 5 Minuten. Eine Anfrage genau auf /robots.txt (ohne Query) überspringt die robots.txt- und Content-Signal-Prüfung, wie RFC 9309 verlangt; eine Domain-Sperre und tdm-reservation gelten weiter.

Content-Signal: ai-input

NodionBot holt Seiten als Input für KI-Antworten. Das beschreibt das Signal ai-input der Content Signals Policy. Setzt die auf NodionBot zutreffende robots.txt-Gruppe ai-input=no, holt NodionBot die Seite nicht, auch wenn der Pfad sonst erlaubt ist:

User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

Ein Signal kann auch auf einen Pfad begrenzt sein, etwa Content-Signal: /docs/ ai-input=yes. Der spezifischste passende Pfad gewinnt.

tdm-reservation

Wird eine Seite mit dem Response-Header tdm-reservation: 1 ausgeliefert oder enthält sie <meta name="tdm-reservation" content="1"> im Head, gibt NodionBot den Inhalt nicht an den Kunden weiter. Ein Meta-Element hat Vorrang vor dem Header.

Deine ganze Domain sperren

Willst du dich nicht auf robots.txt verlassen, kannst du uns bitten, deine Domain für NodionBot zu sperren. Eine gesperrte Domain umfasst alle Subdomains. Schreib an team@nodion.com und nenne die Domain. Wir können dich bitten zu zeigen, dass du sie kontrollierst, etwa indem du die Anfrage von einer Adresse dieser Domain schickst oder einen DNS-Record setzt, den wir dir geben.

Kontakt

Fragen zu NodionBot oder eine Anfrage, die falsch wirkt? Schreib uns an team@nodion.com. Bitte mit Zeitpunkt der Anfrage, URL und, wenn vorhanden, der Server-Logzeile.