Chiamata · 30 min
MarketingMattia Esposito10 novembre 202613 minuti di lettura

Robots.txt e crawler AI. Fuori dall’addestramento, dentro le risposte: i 25 nomi da scrivere e cosa succede a ciascuno.

Chi blocca GPTBot per proteggere i suoi testi spesso crede di essere uscito da ChatGPT, e chi blocca tutto esce anche dalle risposte. Qui c’è un robots.txt d’esempio commentato e il foglio dei token, verificati sui proprietari.

In breve

Ogni azienda di AI usa nomi diversi per compiti diversi: uno per addestrare i modelli, uno per la ricerca, uno per aprire una pagina quando lo chiede un utente. Nel robots.txt si sceglie nome per nome, e bloccare l’addestramento non toglie il sito dalle risposte.

I nomi e le regole vengono dalle pagine dei proprietari: OpenAI, Anthropic, Google, Perplexity, Apple, Amazon, Common Crawl, DuckDuckGo, Mistral e Microsoft, lette il 10 novembre 2026. Lo standard è l’RFC 9309 della IETF.

Il file chiede, non chiude. I fetcher che lavorano su richiesta di un utente dichiarano di poterlo ignorare, e nell’Unione europea la stessa riga vale anche come riserva dei diritti.

Il robots.txt d’esempio e il foglio Excel si scaricano qui sotto, senza lasciare la mail.

Chi lo scrive: Mattia Esposito, consulente AI e marketing, fondatore di Itria AI. Pugliese, a Torino dal 2023, lavora da remoto in Italia e all’estero. Profilo LinkedIn.

Il robots.txt d’esempio e il foglio dei token, da scaricare

Un robots.txt pronto, con un commento sopra ogni nome, e un foglio Excel con 27 token dove scegli Consenti o Blocca e la riga da copiare si scrive da sola. L’esempio tiene il sito fuori dall’addestramento dei modelli e dentro la ricerca e le risposte AI. Il secondo foglio ha dieci controlli da fare dopo la pubblicazione.

Il robots.txt d’esempio commentato, che blocca i crawler di addestramento e lascia entrare quelli di ricerca, con la tabella dei token dei crawler AI
FileCosa contieneLink
Testoda copiare

Il robots.txt d’esempio, commentato riga per riga. Cambia solo l’indirizzo della sitemap.

robots-txt-crawler-ai-esempio.txt

Excelda compilare

La mia scelta (27 token con scopo, regola dichiarata, effetto del blocco, pagina ufficiale e file degli IP), Controlli, Esempio.

robots-txt-crawler-ai-foglio.xlsx

PDFda leggere

L’esempio e la tabella dei token, da tenere accanto mentre si scrive il file.

robots-txt-crawler-ai-esempio.pdf

Il cuore dell’esempio: fuori dall’addestramento, dentro la ricerca

User-agent: *
Allow: /

# Addestramento dei modelli: fuori
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: MistralAI-Training
User-agent: Amazonbot
Disallow: /

# Ricerca e risposte AI: dentro
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

Più nomi sotto la stessa riga Disallow formano un gruppo solo: l’RFC 9309 lo permette, e ogni crawler segue il gruppo che lo nomina. Le righe Allow per la ricerca servono se più sopra c’è un blocco generale; altrimenti rendono la scelta leggibile a chi aprirà il file dopo di te.

Il 7 agosto un amico mi ha mandato la risposta di ChatGPT su di me: «Non trovo un Mattia Esposito collegato a itria.io come founder». Il robots.txt del mio sito diceva solo User-agent: * e Allow: /, più l’indirizzo della sitemap. Nessuna porta chiusa. L’ho scritto così, il 21 settembre: «Avevo scritto il llms.txt, lo schema, tutte le cose carine. Per l’AI non esistevo.» Il post completo.

Poi ho riscritto il file nominando i crawler uno per uno, in tre gruppi: motori, assistenti che leggono quando qualcuno chiede, addestramento. Li lascio entrare tutti, anche quelli dell’addestramento, e oggi il file lo dice nella prima riga: «I contenuti di Itria sono pubblici». Per un sito che vive di essere citato è la scelta giusta. Per un’azienda con cataloghi, listini o testi da proteggere può non esserlo, e l’esempio qui sopra fa l’opposto.

Il file aperto da solo non mi ha fatto comparire. Sono servite le pagine: in 28 giorni le impression del sito sono passate da 24 a 1.222, il 4.992% in più, e fra l’11 ottobre e il 7 novembre 2026 sono arrivate 268 citazioni in Copilot e 3.550 impression in AI Overview e AI Mode. Il robots.txt decide chi può entrare. Chi viene citato lo decide quello che trova dentro, ed è il tema della guida su come comparire su ChatGPT.

Quali sono i crawler AI e i loro nomi esatti

I nomi da scrivere dopo «User-agent:» sono 25, di dieci aziende, e si dividono in tre famiglie: addestramento, ricerca, richiesta dell’utente. Le tabelle li raccolgono dalle pagine ufficiali, lette il 10 novembre 2026. Cos’è un crawler, in breve, lo spiega la voce del glossario sui crawler AI.

AddestramentoDi chi e cosa faRispetta robots.txt
GPTBot

OpenAI. Raccoglie pagine che possono servire ad addestrare i modelli.

Sì

ClaudeBot

Anthropic. Raccoglie pagine per l’addestramento.

Sì

Google-Extended

Google. Un nome di controllo, senza crawler proprio: decide se i testi servono a Gemini e al suo grounding.

Sì

Applebot-Extended

Apple. Solo un’esclusione dall’addestramento: non scansiona da sé.

Sì

CCBot

Common Crawl, non profit. Un archivio aperto del web che molti usano per addestrare modelli.

Sì

MistralAI-Training

Mistral. Addestramento dei modelli.

Sì

Amazonbot

Amazon. Migliora prodotti e servizi e può servire ad addestrare i modelli di Amazon.

Sì, file in cache fino a 30 giorni

RicercaDi chi e cosa faRispetta robots.txt
OAI-SearchBot

OpenAI. Trova le pagine per le risposte di ricerca di ChatGPT.

Sì

Claude-SearchBot

Anthropic. Indicizza le pagine per la ricerca di Claude.

Sì

PerplexityBot

Perplexity. Costruisce l’indice delle risposte; dichiarato non usato per i modelli di base.

Sì

Googlebot

Google. La Ricerca, comprese AI Overview e AI Mode.

Sì

bingbot

Microsoft. La ricerca Bing, da cui Copilot prende il web.

Sì

Applebot

Apple. Spotlight, Siri e Safari; può alimentare anche le risposte AI.

Sì

Amzn-SearchBot

Amazon. Le risposte di Alexa e delle ricerche Amazon, non l’addestramento.

Sì

DuckAssistBot

DuckDuckGo. Legge in tempo reale per le risposte AI; dichiarato non usato per addestrare.

Sì, dopo 72 ore

MistralAI-Index

Mistral. L’indice di ricerca; dichiarato non usato per l’addestramento.

Sì

Richiesta dell’utenteDi chi e cosa faRispetta robots.txt
ChatGPT-User

OpenAI. Apre una pagina quando lo chiede un utente di ChatGPT.

Non sempre

Claude-User

Anthropic. Apre le pagine per le domande degli utenti di Claude.

Sì

Perplexity-User

Perplexity. Apre una pagina su richiesta dell’utente.

In genere no

Google-Agent

Google. Agenti ospitati da Google che navigano e agiscono per l’utente.

In genere no

Google-GeminiNotebook

Google. Legge le fonti date a Gemini Notebook; fino ad agosto 2026 si chiamava Google-NotebookLM.

In genere no

Amzn-User

Amazon. Apre le pagine per le richieste degli utenti.

Non sempre

MistralAI-User

Mistral. Decide a quali siti possono andare le richieste degli utenti.

Sì

Le tre famiglie di crawler AI e cosa succede se il robots.txt le blocca: addestramento, ricerca, richiesta dell’utente robots.txtuna richiesta, non un blocco AddestramentoGPTBot, ClaudeBot,Google-Extended, CCBot RicercaOAI-SearchBot, PerplexityBot,Claude-SearchBot, Googlebot Richiesta dell’utenteChatGPT-User, Perplexity-User,Google-Agent, Amzn-User Disallow: i testi esconodai modelli futuri,il sito resta nelle risposte Disallow: il sito escedalle rispostedi quell’assistente Disallow: spesso ignorato,per dichiarazionedelle stesse aziende
Le tre famiglie di crawler AI e cosa succede, secondo i loro proprietari, quando il robots.txt scrive Disallow.

Restano fuori due nomi con un compito stretto: OAI-AdsBot, che OpenAI usa per controllare le pagine inviate come annunci in ChatGPT, e Google-CloudVertexBot, che scansiona solo quando è il proprietario del sito a chiederlo per un agente Vertex AI.

Brave non ha un nome suo: non scansiona quello che non può scansionare Googlebot. Meta pubblica una pagina con i suoi crawler e ByteDance nessuna per Bytespider: non li ho potuti verificare alla lettera, e mancano dalle tabelle. Nel foglio Meta c’è, segnata da ricontrollare.

Quali bot bloccare nel robots.txt, e quali no

Se vuoi restare nelle risposte degli assistenti ma tenere i testi fuori dai dati di addestramento, blocca la prima tabella e lascia entrare la seconda. È la scelta dell’esempio. Chi vuole il contrario, cioè essere letto e usato il più possibile, non scrive nessun blocco: un robots.txt senza regole per un nome lo lascia già entrare.

Due nomi non si toccano mai per motivi AI: Googlebot e bingbot. Bloccarli toglie il sito da Google e da Bing, e quindi da AI Overview, AI Mode e Copilot. L’effetto va anche oltre. Brave segue le regole date a Googlebot; Apple, se Applebot non è nominato, fa lo stesso. Una riga sbagliata su Googlebot svuota tre motori.

Sulla terza tabella decidi poco. Quei fetcher aprono una pagina perché un utente l’ha chiesta, e quasi tutti avvertono che possono non rispettare il file. Bloccarli resta un segnale. Per uscire dalle risposte di un singolo assistente conta il suo crawler di ricerca: le guide su Perplexity, Claude e Copilot entrano nel dettaglio di ciascuno.

Bloccare GPTBot mi toglie da ChatGPT?

No: GPTBot serve all’addestramento, la ricerca di ChatGPT usa OAI-SearchBot. OpenAI tiene separate le impostazioni, e un sito può dire no al primo e sì al secondo. Il caso inverso è quello da evitare: chi blocca OAI-SearchBot non compare nelle risposte di ricerca di ChatGPT, salvo come link di navigazione.

Poi c’è ChatGPT-User, che apre una pagina quando lo chiede un utente. OpenAI lo scrive senza giri: «Because these actions are initiated by a user, robots.txt rules may not apply.» OpenAI indica circa 24 ore perché una modifica al file arrivi ai suoi sistemi, e pubblica gli indirizzi IP di ciascun crawler in file separati.

La stessa logica vale per Anthropic: bloccare ClaudeBot toglie i testi dall’addestramento, non il sito da Claude, la cui ricerca usa Claude-SearchBot.

Google-Extended: cosa blocca e cosa no

Google-Extended decide se i testi del sito servono ad addestrare Gemini e ad ancorarne le risposte nelle app Gemini e in Vertex AI; non tocca la Ricerca Google. Google lo scrive sulla pagina dei suoi crawler: non incide sull’inclusione nella Ricerca e non è un segnale di posizionamento. È un nome di controllo, senza un crawler proprio: la scansione la fa Googlebot.

Ne segue che Google-Extended non toglie il sito dalle AI Overview né da AI Mode, che fanno parte della Ricerca. Per quelle valgono i meta della Ricerca, spiegati nella guida su come disattivare le AI Overview sul proprio sito. Sulla stessa pagina Google annuncia che dall’inizio del 2027 sosterrà anche un segnale comune di preferenza sull’addestramento, nato nel gruppo AIPREF della IETF.

I bot AI rispettano il robots.txt?

I crawler di addestramento e di ricerca delle aziende in tabella dichiarano di rispettarlo; molti fetcher su richiesta dell’utente dichiarano di no, o non sempre. Lo standard stesso non promette di più. L’RFC 9309, pubblicato dalla IETF nel settembre 2022 per formalizzare il metodo nato nel 1994, lo dice in una riga: «These rules are not a form of access authorization.»

L’RFC fissa anche regole utili per chi scrive il file. I nomi si confrontano senza distinguere maiuscole e minuscole. Fra due regole vince la più specifica, e a parità vince Allow. Se il file risponde con un errore 4xx, il crawler può entrare ovunque; con un 5xx deve considerare tutto vietato. Google tiene il file in cache fino a 24 ore, ignora quello che c’è oltre 500 KiB e non legge crawl-delay.

Chiunque può scrivere GPTBot nell’intestazione di una richiesta. Per sapere se un bot è davvero chi dice di essere si confronta il suo indirizzo con quelli pubblicati: OpenAI, Anthropic, Perplexity, Amazon, Common Crawl e DuckDuckGo hanno file pubblici con gli IP, e Common Crawl avverte esplicitamente dei falsi CCBot.

Un dettaglio da copia e incolla: sulla pagina di Perplexity, nel titolo della tabella, Perplexity-User compare con un trattino diverso da quello normale, e copiato così nel file non combacia.

Come uscire dalle risposte AI senza uscire da Google

Con i meta delle pagine, non con il robots.txt: per Google e Apple nosnippet, per Bing noarchive o nocache, per i partner di ricerca di Anthropic noindex. Il robots.txt decide se un crawler legge. Le risposte AI di un motore che ha già letto la pagina per la ricerca si governano pagina per pagina.

Google applica alle funzioni AI della Ricerca nosnippet, data-nosnippet, max-snippet e noindex. Apple, nella pagina aggiornata il 4 settembre 2026, scrive che nosnippet tiene la pagina fuori dalle risposte generate di Siri e della ricerca, mentre Applebot-Extended esclude solo dall’addestramento.

Bing, in un annuncio del settembre 2023, quando l’assistente si chiamava ancora Bing Chat, ha spiegato che con noarchive il contenuto resta nei risultati ma esce da risposte e addestramento, e con nocache compaiono solo indirizzo, titolo e snippet.

Anthropic, infine, scrive che il noindex arriva ai suoi partner di ricerca: una pagina con noindex non entra nelle risposte di Claude con la ricerca. Per Copilot la strada passa dall’indice di Bing, raccontata nella guida su Bing Webmaster Tools e IndexNow.

Cloudflare e il robots.txt che non hai scritto tu

Se il sito è dietro Cloudflare, il robots.txt servito può non essere quello scritto nel CMS: il robots.txt gestito di Cloudflare ci antepone un blocco suo. Quel blocco contiene i Content Signals (search, ai-input, ai-train), una riserva dei diritti che cita la direttiva europea sul diritto d’autore e i Disallow per otto crawler di addestramento.

Cloudflare, che vende CDN e sicurezza ed è quindi una fonte con un interesse, divide il traffico AI in tre comportamenti, Search, Agent e Training. Nella documentazione aggiornata al 2 novembre 2026, per i domini nuovi tutti e tre partono su Allow; per i domini configurati prima la situazione va guardata nel pannello. Le regole del CDN agiscono prima del file.

Sul mio sito un’altra impostazione di Cloudflare toglieva la mail dall’HTML: il caso è nel laboratorio sulla mail invisibile. Il controllo vero è uno: aprire tuosito.it/robots.txt nel browser e leggere cosa c’è.

Robots.txt e diritto d’autore: cosa dice la legge europea

Nell’Unione europea un robots.txt che esclude i crawler di addestramento è anche una riserva dei diritti con un peso giuridico. La direttiva (UE) 2019/790, all’articolo 4, paragrafo 3, permette l’estrazione di testo e dati salvo che il titolare l’abbia riservata, per i contenuti online con strumenti leggibili da una macchina.

L’AI Act, il regolamento (UE) 2024/1689, chiude il cerchio: all’articolo 53, paragrafo 1, lettera c), obbliga i fornitori di modelli di IA per finalità generali a individuare e rispettare quella riserva. Altrove la regola cambia, e per i token non cambia niente: i nomi e le pagine dei proprietari sono gli stessi in Italia e nel mondo inglese.

DoveCosa vale per l’estrazione di testo e datiFonte
Unione europea

L’eccezione non vale se il titolare l’ha riservata con strumenti leggibili da macchina; i fornitori di modelli generali devono rispettare la riserva.

Dir. 2019/790, art. 4(3); reg. 2024/1689, art. 53(1)(c)

Italia

La regola europea. Il testo nazionale sta nella legge sul diritto d’autore, da leggere su Normattiva.

Dir. 2019/790

Regno Unito

L’eccezione copre solo la ricerca per fini non commerciali.

CDPA 1988, s. 29A

Stati Uniti

Nessuna norma letta per questa pagina; i token e le pagine dei proprietari sono gli stessi.

Pagine dei proprietari

Sul fronte tecnico, la IETF sta scrivendo un vocabolario comune per le preferenze sull’uso da parte dell’AI, con etichette come train-ai e search, e un modo per scriverle nel robots.txt e nelle intestazioni HTTP. Sono ancora due bozze di lavoro. Anthropic le applica in modo graduale dal 30 ottobre 2026, e le regole che nominano ClaudeBot prevalgono; Google ha annunciato l’inizio del 2027.

Due casi misurati su itria.io

Da una pagina a cinque. La mattina del 25 settembre 2026, per la ricerca web di Claude, itria.io aveva una pagina sola; la sera, dopo aver chiesto a Brave di rileggerne sette, cinque. Il robots.txt era già aperto: mancava l’indice. Prima e dopo in Brave e Claude.

La mail che non c’era. L’offuscamento di Cloudflare toglieva l’indirizzo dall’HTML e lo rimetteva con uno script: per un assistente la pagina contatti era senza contatti. Lo stesso difetto su 14 siti di produttori su 121, nel laboratorio sulla mail invisibile.

Il risultato. Fra l’11 ottobre e il 7 novembre 2026 il rapporto AI Performance di Bing ha contato 268 citazioni di pagine di itria.io in Copilot, e Search Console 3.550 impression in AI Overview e AI Mode. Come si lavora su un’azienda vera è nella pagina sulla presenza su motori e assistenti AI.

Domande e risposte

Quali bot AI bloccare nel robots.txt?

Dipende da cosa vuoi tenere fuori. Chi vuole restare nelle risposte degli assistenti ma non nei dati di addestramento blocca i token di addestramento: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, MistralAI-Training e, se vuole, Amazonbot.

Lascia entrare i crawler di ricerca come OAI-SearchBot, Claude-SearchBot e PerplexityBot, e non tocca mai Googlebot e bingbot, che portano il sito su Google e su Bing.

Bloccare GPTBot mi toglie da ChatGPT?

No. GPTBot raccoglie pagine per l’addestramento dei modelli di OpenAI. La ricerca di ChatGPT usa OAI-SearchBot, che ha un’impostazione separata: un sito può bloccare il primo e lasciare entrare il secondo. OpenAI indica circa 24 ore perché una modifica arrivi ai suoi sistemi.

Google-Extended blocca le AI Overview?

No. Google scrive che Google-Extended non incide sull’inclusione nella Ricerca Google e non è un segnale di posizionamento: governa l’uso dei testi per Gemini. AI Overview e AI Mode fanno parte della Ricerca e seguono Googlebot e i meta nosnippet, max-snippet e noindex.

I crawler AI rispettano il robots.txt?

I crawler di addestramento e di ricerca delle grandi aziende dichiarano di rispettarlo. I fetcher che aprono una pagina su richiesta di un utente no, o non sempre: lo scrivono OpenAI per ChatGPT-User, Perplexity per Perplexity-User, Google per i suoi fetcher avviati dall’utente e Amazon per Amzn-User.

Lo standard, l’RFC 9309, ricorda che il file è una richiesta e non un’autorizzazione d’accesso.

Il robots.txt ha valore legale contro l’addestramento dell’AI?

Nell’Unione europea sì, come riserva dei diritti. La direttiva (UE) 2019/790, all’articolo 4, esclude l’eccezione per l’estrazione di testo e dati quando il titolare ha riservato l’uso con strumenti leggibili da una macchina, e l’AI Act obbliga i fornitori di modelli per finalità generali a rispettare quella riserva. Questa è un’informativa, non una consulenza legale.

Note sulle fonti

  1. IETF, RFC 9309, Robots Exclusion Protocol, settembre 2022: da qui la frase citata, il confronto dei nomi, la regola più specifica, 4xx e 5xx. Google, come interpreta la specifica, aggiornata il 23 ottobre 2026, CC BY 4.0: cache, 500 KiB, crawl-delay.
  2. OpenAI, Overview of OpenAI Crawlers: GPTBot, OAI-SearchBot, ChatGPT-User (da qui la frase citata), OAI-AdsBot, le 24 ore e i file degli IP.
  3. Anthropic, pagina sui crawler e pagina sul noindex, 3 settembre 2026.
  4. Google, crawler comuni, aggiornata il 30 ottobre 2026, e fetcher avviati dall’utente, aggiornata il 19 agosto 2026, CC BY 4.0.
  5. Perplexity, Perplexity Crawlers; Apple, About Applebot, 4 settembre 2026; Amazon, Amazonbot; Common Crawl, CCBot; DuckDuckGo, DuckAssistBot; Mistral, robots; Brave, Brave Search crawler.
  6. Microsoft Bing, annuncio su noarchive e nocache, settembre 2023: parla di Bing Chat, il nome di allora di Copilot.
  7. Cloudflare, crawler AI e robots.txt gestito, aggiornate il 2 novembre 2026: documentazione di un fornitore di CDN e sicurezza.
  8. IETF, bozze draft-ietf-aipref-vocab-08, 14 settembre 2026, e draft-ietf-aipref-attach-05, 19 agosto 2026: documenti di lavoro, non standard.
  9. Direttiva (UE) 2019/790, art. 4, par. 3; regolamento (UE) 2024/1689, art. 53, par. 1, lett. c); Copyright, Designs and Patents Act 1988, s. 29A.
  10. Il robots.txt di itria.io si legge su itria.io/robots.txt. I numeri vengono da Search Console (rapporto sull’AI generativa) e da Bing Webmaster Tools, finestra dall’11 ottobre al 7 novembre 2026. Tutte le pagine sono state lette il 10 novembre 2026.
·Chi lo fa per te

Il robots.txt decide chi entra. Cosa trova dentro decide chi viene citato. Il posizionamento si costruisce partendo dal mercato.

Mattia Esposito, che ha scritto questa guida, con Itria lavora anche sul posizionamento: analisi di mercato approfondite per capire dove i concorrenti sono scoperti e prendersi quello spazio. Lo ha fatto prima sul suo sito. Ad agosto, chiesto chi avesse fondato itria.io, ChatGPT non lo trovava. Dall’11 ottobre al 7 novembre 2026 le pagine di itria.io sono comparse 13.803 volte nei risultati di Google e Bing e 3.818 volte nelle risposte dell’intelligenza artificiale: AI Overview e AI Mode di Google, Copilot di Microsoft.