NodionBot

NodionBot è il componente di recupero web del Nodion AI Gateway. Carica una pagina quando un cliente Nodion chiama lo strumento web_fetch, oppure chiede allo strumento web_search di caricare il contenuto dei risultati di ricerca. Ogni fetch è avviato in tempo reale da una richiesta di un cliente. NodionBot non esegue il crawling del web di propria iniziativa e non costruisce un indice, e Nodion non usa le pagine recuperate per addestrare i propri modelli AI.

Come riconoscere NodionBot

NodionBot invia questo user agent con ogni richiesta, compresa quella per il tuo robots.txt:

NodionBot/1.0 (+https://nodion.com/bot)

Non si presenta mai come un browser o come un altro bot. Se il tuo sito risponde con 401, 403, 429 o con una bot challenge, NodionBot non riprova con un'identità diversa e non cerca di aggirare il blocco. Al posto della pagina il cliente riceve la tua risposta: il codice di stato e il contenuto che hai restituito, convertito in testo ed eventualmente accorciato, a meno che non si applichi una tdm-reservation.

Controllare l'accesso con robots.txt

NodionBot legge /robots.txt su ogni host prima di recuperare una pagina da quell'host, e di nuovo per ogni host a cui porta un redirect. Segue il Robots Exclusion Protocol (RFC 9309). Un gruppo per NodionBot ha la precedenza; se manca, si applica il gruppo *. Per bloccare NodionBot su tutto il sito:

User-agent: NodionBot
Disallow: /

Per tenerlo fuori solo da una parte del sito:

User-agent: NodionBot
Disallow: /account/
Disallow: /drafts/

NodionBot richiede robots.txt solo quando serve a una richiesta di un cliente, e non più di una volta ogni 24 ore per origine (schema, host e porta) finché il file è leggibile; quindi le modifiche possono impiegare altrettanto tempo per avere effetto. Un robots.txt mancante (404), o un'altra risposta 4xx tranne 429, significa nessuna restrizione, e anche questo risultato viene conservato per 24 ore. Se robots.txt non può essere recuperato (una risposta 5xx o 429, un errore di rete o un timeout), NodionBot continua a usare l'ultimo risultato valido per un massimo di 30 giorni e riprova non più di una volta ogni 10 minuti; senza un risultato di questo tipo, non recupera nulla dal tuo sito e riprova non più di una volta ogni 5 minuti. Una richiesta esattamente per /robots.txt (senza query) salta il controllo di robots.txt e Content-Signal, come richiesto dalla RFC 9309; il blocco di un dominio e la tdm-reservation continuano ad applicarsi.

Content-Signal: ai-input

NodionBot recupera le pagine come input per risposte AI, ed è esattamente ciò che descrive il segnale ai-input della Content Signals Policy. Se il gruppo di robots.txt che si applica a NodionBot imposta ai-input=no, NodionBot non recupera la pagina, anche dove il percorso sarebbe altrimenti consentito:

User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

Un segnale può anche essere limitato a un percorso, per esempio Content-Signal: /docs/ ai-input=yes. Vince il percorso corrispondente più specifico.

tdm-reservation

Se una pagina viene servita con l'header di risposta tdm-reservation: 1, oppure contiene <meta name="tdm-reservation" content="1"> nel suo head, NodionBot non ne passa il contenuto al cliente. Un elemento meta ha la precedenza sull'header.

Bloccare l'intero dominio

Se preferisci non affidarti a robots.txt, puoi chiederci di bloccare il tuo dominio per NodionBot. Un dominio bloccato include tutti i suoi sottodomini. Scrivi a team@nodion.com indicando il dominio. Potremmo chiederti di dimostrare che lo controlli, per esempio inviando la richiesta da un indirizzo di quel dominio o aggiungendo un record DNS che ti forniamo.

Contatti

Domande su NodionBot, o una sua richiesta che sembra anomala? Scrivici a team@nodion.com. Indica l'orario della richiesta, l'URL e, se ce l'hai, la riga di log del tuo server.