Crawler AI. I programmi che leggono il tuo sito per gli assistenti, e come si chiamano.
Un crawler AI scarica le pagine di un sito per un’azienda di intelligenza artificiale: per la ricerca, per l’addestramento o su richiesta di un utente. Qui ci sono i nomi e cosa cambia bloccarli.
Un crawler AI è il programma che legge le pagine di un sito per un’azienda di intelligenza artificiale.
OpenAI, Anthropic e Perplexity ne usano uno per la ricerca e uno per le richieste degli utenti, e OpenAI e Anthropic uno a parte per l’addestramento. Bloccare quello di addestramento non toglie il sito dalle risposte.
Leggono l’HTML e non eseguono JavaScript, secondo una misura di Vercel su 1,3 miliardi di richieste.
Chi lo scrive: Mattia Esposito, consulente AI e marketing, fondatore di Itria AI. Pugliese, a Torino dal 2023, lavora da remoto in Italia e all’estero. Profilo LinkedIn.
I tre compiti di un crawler AI
Le aziende di intelligenza artificiale usano crawler diversi per compiti diversi, e ognuno ha un nome suo. Uno serve alla ricerca dell’assistente, uno all’addestramento dei modelli, uno ad aprire una pagina quando lo chiede un utente. La tabella mette insieme i nomi dichiarati da OpenAI, Anthropic, Perplexity e Google, letti il 10 novembre 2026.
| Azienda | Ricerca | Addestramento | Su richiesta |
|---|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot | ChatGPT-User |
| Anthropic | Claude-SearchBot | ClaudeBot | Claude-User |
| Perplexity | PerplexityBot | non dichiarato | Perplexity-User |
Googlebot | Google-Extended (un nome di controllo, non un crawler a parte) | non applicabile |
Perplexity scrive che PerplexityBot non serve ad addestrare modelli. Google-Extended, secondo Google, decide l’uso dei testi per Gemini e non tocca la presenza nella Ricerca né in AI Overview. Le righe da scrivere per ciascuno sono nella guida su robots.txt e crawler AI.
Il robots.txt, la porta dei crawler
Un crawler si ferma o entra in base al robots.txt, il file nella radice del sito standardizzato dalla IETF nell’RFC 9309 del settembre 2022. OpenAI lo dice per la ricerca di ChatGPT: «Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers». Prima del robots.txt c’è spesso un CDN come Cloudflare, con regole sue sui crawler AI che si applicano prima.
Nello studio di Itria su 121 siti di produttori alimentari, tutti lasciavano entrare i crawler di ricerca di ChatGPT, Claude e Perplexity. Il problema stava dentro la pagina: l’11,6% aveva la mail invisibile agli assistenti, nascosta dall’offuscamento o assente dal codice. Il caso di itria.io è nel pezzo sulla mail che gli assistenti AI non vedono.
Cosa non leggono
I crawler AI leggono l’HTML così come arriva e non eseguono JavaScript. Vercel lo ha misurato su circa 1,3 miliardi di richieste in un mese. Testi, prezzi e contatti che compaiono solo dopo uno script, per un assistente non ci sono. Come entrano nelle risposte le pagine lette lo spiega la guida su come comparire su ChatGPT; il file proposto per guidarli è llms.txt, e il lavoro nel suo insieme si chiama GEO.
Domande e risposte
Cos’è un crawler AI?
È un programma che visita i siti e ne scarica le pagine per conto di un’azienda di intelligenza artificiale. Ogni crawler ha un nome, lo user agent, che si usa nel robots.txt per lasciarlo entrare o tenerlo fuori.
Che differenza c’è fra GPTBot e OAI-SearchBot?
Sono due crawler di OpenAI con compiti diversi. GPTBot raccoglie pagine che possono servire ad addestrare i modelli; OAI-SearchBot trova le pagine per la ricerca di ChatGPT. OpenAI scrive che un sito che blocca OAI-SearchBot non viene mostrato nelle risposte della ricerca.
Bloccare i crawler AI mi toglie da ChatGPT?
Dipende da quale blocchi. Bloccare GPTBot, ClaudeBot o Google-Extended toglie i testi dall’addestramento e lascia il sito nelle risposte; bloccare OAI-SearchBot, Claude-SearchBot o PerplexityBot lo toglie dalla ricerca di quell’assistente.
I crawler AI rispettano il robots.txt?
I crawler di ricerca e di addestramento di OpenAI, Anthropic e Perplexity dichiarano di rispettarlo. Per i crawler che aprono una pagina su richiesta di un utente le regole cambiano: Perplexity scrive che Perplexity-User in genere lo ignora.
I crawler AI leggono il JavaScript?
In genere no. Vercel ha misurato circa 1,3 miliardi di richieste in un mese: i principali crawler AI, compresi quelli di OpenAI, Anthropic e Perplexity, leggono l’HTML così come arriva, senza eseguire gli script.
Note sulle fonti
- OpenAI, Overview of OpenAI Crawlers: la frase citata. Anthropic, pagina sui crawler, aggiornata il 30 ottobre 2026. Lette il 10 novembre 2026.
- Perplexity, Perplexity Crawlers; Google, crawler comuni (Google-Extended), CC BY 4.0.
- IETF, RFC 9309, Robots Exclusion Protocol, settembre 2022. Vercel, The rise of the AI crawler.
- Lo studio di Itria sui siti dei produttori è del 26 settembre 2026.
Aprire le porte giuste è un pomeriggio. Farsi citare al posto dei concorrenti è il lavoro dopo. Il posizionamento si costruisce partendo dal mercato.
Mattia Esposito, che ha scritto questa guida, con Itria lavora anche sul posizionamento: analisi di mercato approfondite per capire dove i concorrenti sono scoperti e prendersi quello spazio. Lo ha fatto prima sul suo sito. Ad agosto, chiesto chi avesse fondato itria.io, ChatGPT non lo trovava. Dall’11 ottobre al 7 novembre 2026 le pagine di itria.io sono comparse 13.803 volte nei risultati di Google e Bing e 3.818 volte nelle risposte dell’intelligenza artificiale: AI Overview e AI Mode di Google, Copilot di Microsoft.