NodionBot

NodionBot to mechanizm pobierania stron internetowych w Nodion AI Gateway. Pobiera stronę, gdy klient Nodion wywołuje narzędzie web_fetch albo prosi narzędzie web_search o pobranie treści wyników wyszukiwania. Każde pobranie jest uruchamiane w czasie rzeczywistym przez żądanie klienta. NodionBot nie przeszukuje sieci z własnej inicjatywy i nie buduje indeksu, a Nodion nie używa pobranych stron do trenowania własnych modeli AI.

Jak rozpoznać NodionBota

NodionBot wysyła ten user agent w każdym żądaniu, także w żądaniu pobrania Twojego pliku robots.txt:

NodionBot/1.0 (+https://nodion.com/bot)

Nigdy nie podaje się za przeglądarkę ani za innego bota. Jeśli Twoja strona odpowiada kodem 401, 403, 429 lub wyzwaniem dla botów (bot challenge), NodionBot nie ponawia próby pod inną tożsamością i nie próbuje obejść blokady. Zamiast strony klient otrzymuje Twoją odpowiedź: jej kod statusu i zwróconą przez Ciebie treść, przekonwertowaną na tekst i ewentualnie skróconą, chyba że obowiązuje tdm-reservation.

Kontroluj dostęp za pomocą robots.txt

NodionBot odczytuje /robots.txt na każdym hoście, zanim pobierze z niego stronę, i ponownie dla każdego hosta, do którego prowadzi przekierowanie. Stosuje się do Robots Exclusion Protocol (RFC 9309). Grupa dla NodionBot ma pierwszeństwo; jeśli jej nie ma, obowiązuje grupa *. Aby zablokować NodionBota na całej stronie:

User-agent: NodionBot
Disallow: /

Aby wykluczyć go tylko z części strony:

User-agent: NodionBot
Disallow: /account/
Disallow: /drafts/

NodionBot pobiera robots.txt tylko wtedy, gdy wymaga tego żądanie klienta, i najwyżej raz na 24 godziny na każdy origin (schemat, host i port), dopóki plik da się odczytać, więc zastosowanie zmian może tyle potrwać. Brak pliku robots.txt (404) lub inna odpowiedź 4xx poza 429 oznacza brak ograniczeń; ten wynik również jest przechowywany przez 24 godziny. Jeśli nie da się pobrać robots.txt (odpowiedź 5xx lub 429, błąd sieci albo timeout), NodionBot korzysta z ostatniego pomyślnie pobranego wyniku przez maksymalnie 30 dni i ponawia zapytanie najwyżej co 10 minut; bez takiego wyniku nie pobiera niczego z Twojej strony i ponawia zapytanie najwyżej co 5 minut. Żądanie dokładnie do /robots.txt (bez query) pomija sprawdzanie robots.txt i Content-Signal, zgodnie z wymogiem RFC 9309; blokada domeny i tdm-reservation nadal obowiązują.

Content-Signal: ai-input

NodionBot pobiera strony jako dane wejściowe do odpowiedzi AI, a właśnie to opisuje sygnał ai-input z Content Signals Policy. Jeśli grupa w robots.txt, która dotyczy NodionBota, ustawia ai-input=no, NodionBot nie pobiera strony, nawet jeśli ścieżka jest poza tym dozwolona:

User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

Sygnał można też ograniczyć do ścieżki, na przykład Content-Signal: /docs/ ai-input=yes. Pierwszeństwo ma najbardziej szczegółowa pasująca ścieżka.

tdm-reservation

Jeśli strona jest serwowana z nagłówkiem odpowiedzi tdm-reservation: 1 albo zawiera w sekcji head <meta name="tdm-reservation" content="1">, NodionBot nie przekazuje jej treści klientowi. Element meta ma pierwszeństwo przed nagłówkiem.

Zablokuj całą swoją domenę

Jeśli wolisz nie polegać na robots.txt, możesz poprosić nas o zablokowanie Twojej domeny dla NodionBota. Zablokowana domena obejmuje wszystkie swoje subdomeny. Napisz na team@nodion.com i podaj domenę. Możemy poprosić Cię o wykazanie, że ją kontrolujesz, na przykład przez wysłanie prośby z adresu w tej domenie albo dodanie rekordu DNS, który Ci przekażemy.

Kontakt

Masz pytania dotyczące NodionBota albo widzisz jego żądanie, które wygląda nieprawidłowo? Napisz do nas na team@nodion.com. Podaj czas żądania, URL i, jeśli ją masz, linię z logu serwera.