Addestramento AI e robots.txt. Fuori dai modelli, dentro Google e ChatGPT: il segnale comune del 30 ottobre 2026 e le righe che valgono già oggi.
Il 30 ottobre Google, OpenAI e Microsoft hanno annunciato una riga comune contro l’addestramento, ma nessuno dei tre la applica ancora. Qui c’è il robots.txt pronto, con le righe di oggi e quella del 2027.
Aggiornato all’11 novembre 2026
Per tenere i testi fuori dall’addestramento senza sparire dalle risposte si bloccano i crawler di addestramento, uno per azienda, e si lasciano entrare quelli di ricerca. Funziona già oggi. Il segnale comune annunciato il 30 ottobre 2026 si aggiunge a queste righe e non le sostituisce.
Il segnale si scrive come un gruppo del robots.txt, User-Agent: __usage_ai-training, e viene da una bozza della IETF. Anthropic ha cominciato a riconoscerlo il 30 ottobre; Microsoft lo farà dal 1° febbraio 2027, Google nel 2027, OpenAI nei prossimi mesi.
Con Google c’è un prezzo: il no all’addestramento di Gemini toglie anche le citazioni con link nelle app Gemini. AI Overview e AI Mode non cambiano.
Il robots.txt pronto si scarica qui sotto, in testo e in PDF, senza lasciare la mail.
Chi lo scrive: Mattia Esposito, consulente AI e marketing, fondatore di Itria AI. Pugliese, a Torino dal 2023, lavora da remoto in Italia e all’estero. Profilo LinkedIn.
Il robots.txt contro l’addestramento AI, da scaricare
Un robots.txt per una PMI che vuole restare su Google, su Bing e nelle risposte di ChatGPT e Claude, ma fuori dall’addestramento dei modelli. Ha le righe che funzionano già e il gruppo del segnale comune, pronto per quando Google, OpenAI e Microsoft cominceranno a leggerlo. Sopra ogni riga c’è un commento.

| File | Cosa contiene | Link |
|---|---|---|
| Testoda copiare | Il robots.txt commentato riga per riga. Cambia solo l’indirizzo della sitemap. | |
| PDFda leggere | Il file, la tabella dei nomi con cosa perdi bloccandoli, il calendario del segnale comune. |
# Addestramento: fuori
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Google-Extended
Disallow: /
# Segnale comune del 30 ottobre 2026
User-Agent: __usage_ai-training
Disallow: /
| Nome nel file | Se lo blocchi | Da quando vale |
|---|---|---|
| GPTBot | OpenAI non usa i testi per addestrare; il sito resta nella ricerca di ChatGPT. | Già oggi |
| OAI-SearchBot | Il sito esce dalle risposte di ricerca di ChatGPT. Da lasciare entrare. | Circa 24 ore dopo il cambio |
| ClaudeBot | I contenuti futuri escono dall’addestramento di Anthropic. | Già oggi |
| Claude-SearchBot | Meno visibilità nelle risposte di Claude. Da lasciare entrare. | Già oggi |
| Google-Extended | Fuori dall’addestramento di Gemini e dalle citazioni nelle app Gemini; la Ricerca resta. | Già oggi |
| Applebot-Extended | Fuori dall’addestramento dei modelli Apple; Applebot continua a leggere per Siri e Spotlight. | Già oggi |
| CCBot | Il sito esce dall’archivio aperto di Common Crawl. | Già oggi |
| __usage_ai-training | No all’addestramento per chi riconosce il segnale; nessuna perdita nella ricerca. | Anthropic dal 30 ottobre 2026; Microsoft dal 1° febbraio 2027; Google nel 2027; OpenAI senza data |
L’elenco completo, con Amazon, Mistral, Perplexity e DuckDuckGo, è nella guida sul robots.txt e i crawler AI. Questa pagina va a fondo sul segnale nuovo: chi lo legge, da quando, e cosa costa dire no a ciascuno. Cos’è un crawler, in due righe, lo spiega il glossario.
Il 7 settembre ho pubblicato l’analisi dei siti di 142 aziende italiane che vendono anche all’estero. Sugli stessi siti ho contato il file che presenta l’azienda agli assistenti AI: ce l’avevano 28 su 143, e in 24 l’aveva scritto un plugin. Nel post l’ho messa così: «Un assistente non sfoglia un sito: lo legge, e riferisce quello che ci trova scritto.» Il post completo.
Il robots.txt corre lo stesso rischio. Lo scrivono il CMS, il plugin SEO o il CDN, e può capitare che il titolare non l’abbia mai aperto. Il segnale del 30 ottobre è una riga in più in quel file: se nessuno la scrive, quando Google e Microsoft cominceranno a leggerla non troveranno niente da rispettare.
Ho costruito questa guida solo sulle pagine di chi legge il file: Google, OpenAI, Microsoft, Anthropic, Apple, la IETF. Il 21 settembre l’avevo scritto così: «L’AI cita chi emette la regola o chi esegue il lavoro. Mai chi spiega.» Il post.
Nello stesso post c’era il motivo del file da scaricare: un modello Word aveva fatto 12 dei 34 clic del sito, e un file un assistente non lo riassume. Il mio robots.txt, per inciso, fa la scelta opposta e lascia entrare tutti; il perché è nella guida sui crawler AI.
Cos’è il segnale comune contro l’addestramento del 30 ottobre
È un gruppo del robots.txt che al posto del nome di un crawler porta un’etichetta, __usage_ai-training, e dice a chi la riconosce di non usare i contenuti per addestrare modelli generativi. Google, OpenAI e Microsoft l’hanno annunciato lo stesso giorno, il 30 ottobre 2026, ciascuno sul proprio blog, e lo presentano come un segnale volontario.
La sintassi viene da una bozza della IETF, l’organismo che scrive gli standard tecnici di internet, firmata da un autore di Anthropic. Non introduce direttive nuove: un programma che non conosce l’etichetta la ignora come farebbe con un bot sconosciuto. Sul Datatracker la bozza risulta individuale, non ancora adottata dal gruppo di lavoro AIPREF, e scade il 3 maggio 2027 se non viene rinnovata.
Quattro regole della bozza cambiano il modo di scrivere il file. Un Disallow sotto User-agent: * non vale come no all’addestramento. Se l’etichetta manca, nessuna preferenza è espressa: il silenzio non conta come divieto. L’etichetta non è una regola di accesso, e per tenere fuori un crawler serve il suo gruppo. Infine vale anche per percorso, quindi si può vietare l’addestramento su una sola cartella.
La bozza lascia validi i nomi dei singoli crawler, che possono essere letti come regole più specifiche, e riguarda solo i modelli generativi: chi addestra un modello che si limita a classificare o ordinare resta fuori. Un accordo di licenza firmato con un fornitore prevale su quello che dice il file.
Il segnale funziona già? Chi lo rispetta e da quando
Oggi no, tranne che per Anthropic: Google, OpenAI e Microsoft l’hanno annunciato ma non lo applicano ancora. Ognuno ha dato una data diversa, e fino a quella data il no all’addestramento passa solo dai gruppi dei singoli crawler. Google, nel suo post: «We aim to support this new control along with other AI providers in 2027». La documentazione dei crawler, aggiornata lo stesso giorno, dice inizio 2027.
| Chi | Cosa ha detto del segnale comune | Cosa scrivere oggi |
|---|---|---|
| Anthropic | Lo riconosce dal 30 ottobre 2026, estendendolo gradualmente a tutti i servizi. Le regole che nominano ClaudeBot prevalgono. | ClaudeBot |
| Microsoft | Lo rispetterà dal 1° febbraio 2027, man mano che Bingbot ripassa sulle pagine. | Nessun nome per l’addestramento: oggi NoArchive o NoCache |
Lo sosterrà nel 2027; senza un gruppo per Google-Extended lo leggerà come un blocco a Google-Extended. | Google-Extended | |
| OpenAI | Lo implementerà nei prossimi mesi, con dettagli in un aggiornamento futuro; GPTBot e OAI-SearchBot restano. | GPTBot |
| Apple | Nessuna dichiarazione letta sul segnale comune. | Applebot-Extended |
| Common Crawl | Nessuna dichiarazione letta sul segnale comune. | CCBot |
Meta e Perplexity non risultano fra chi ha annunciato il segnale, e nessuna fonte letta dice che lo seguiranno. I loro nomi, con quello che dichiarano oggi, sono nella guida sui crawler AI. Anche il file llms.txt non c’entra: presenta il sito agli assistenti e non esprime divieti, come spiega la guida su llms.txt.
Come impedire l’addestramento senza sparire da Google
Su Google l’addestramento di Gemini si governa con Google-Extended, e bloccarlo non toglie il sito dai risultati, dalle AI Overview né da AI Mode. Google scrive che Google-Extended non incide sull’inclusione nella Ricerca e non è un segnale di posizionamento. Le funzioni AI della Ricerca seguono Googlebot e i meta nosnippet, max-snippet e noindex.
Il punto che manca nelle guide in prima pagina è un altro. Google-Extended tiene insieme due cose: l’addestramento dei modelli Gemini e il grounding, cioè le risposte delle app Gemini che citano il sito con un link. Chi lo blocca esce da entrambi. Il post del 30 ottobre lo dice in chiaro: possono comparire con link nelle risposte delle app Gemini i siti che permettono esplicitamente Google-Extended.
Il segnale comune non scioglie il nodo. Google ha scritto che un sito con __usage_ai-training su Disallow, senza un gruppo per Google-Extended, verrà trattato come se avesse bloccato Google-Extended. Chi vuole restare citato nelle app Gemini deve scrivere User-agent: Google-Extended con Allow: /, e accettare l’addestramento. Chi vuole uscire anche dalle AI Overview segue un’altra strada, quella della guida su come disattivare le AI Overview.
Come impedire l’addestramento senza sparire da ChatGPT e da Claude
Si blocca GPTBot e si lascia entrare OAI-SearchBot: per OpenAI sono due impostazioni indipendenti. GPTBot raccoglie pagine per l’addestramento; OAI-SearchBot porta il sito nelle risposte di ricerca di ChatGPT, e chi lo blocca compare solo come link di navigazione. Un cambio del file arriva alla ricerca in circa 24 ore.
Anthropic fa lo stesso con ClaudeBot e Claude-SearchBot. OpenAI ha scritto che il segnale comune non sostituirà i controlli già offerti nel robots.txt; Anthropic, che le regole su ClaudeBot prevalgono sul segnale generale. Per questo il file tiene i due livelli insieme. Come farsi citare, una volta dentro, lo spiega la guida su come comparire su ChatGPT, e per Claude quella su come comparire su Claude.
Alcune liste in rete mettono fra i bot da bloccare anche ChatGPT-User, il programma che apre una pagina quando la chiede un utente. Non è il crawler dell’addestramento, e OpenAI avverte che su quelle richieste le regole del robots.txt possono non valere. Bloccarlo non protegge i testi dall’addestramento.
Bing e Copilot: addestramento e risposte si separano
Con Microsoft le due scelte sono indipendenti: dal 1° febbraio 2027 si potrà dire no all’addestramento e restare nelle risposte di Copilot. Il post di Bing del 30 ottobre definisce due preferenze, AI Training e AI Grounding, entrambe consentite per default. Nessuna delle due cambia la presenza nei risultati classici di Bing.
L’addestramento si nega col segnale comune nel robots.txt, per tutto il sito o per percorso, oppure pagina per pagina con il meta name="Bingbot" content="ai-training:disallow" o l’intestazione X-Robots-Tag. Il grounding si regola solo pagina per pagina: ai-grounding:disallow, oppure disallowextended, che esclude dai prodotti Microsoft come Copilot e lascia i servizi per terzi. Un robots.txt per il grounding di tutto il sito non esiste.
Microsoft avverte che chi nega il grounding vedrà meno il proprio marchio nelle esperienze AI, e aggiunge: «Neither choice guarantees inclusion, traffic, or payment.» Chi oggi usa NoArchive o NoCache ha una scadenza: dal 1° marzo 2027 non valgono più per addestramento e grounding. La preferenza vale quando Bingbot ripassa sulla pagina; IndexNow aiuta senza garantire, come spiega la guida su Bing Webmaster Tools e IndexNow.
Gli errori che tolgono il sito dalle risposte
Il più grave è il blocco generale, User-agent: * con Disallow: /, rimasto magari da un sito in costruzione. Toglie il sito da Google, da Bing e da tutte le risposte che ne dipendono, e secondo la bozza IETF non esprime nemmeno il no all’addestramento. Il secondo è bloccare insieme ai crawler di addestramento quelli di ricerca, OAI-SearchBot e Claude-SearchBot.
Bloccare per indirizzo IP, dal firewall, può impedire ai crawler di leggere proprio il robots.txt: Anthropic lo scrive nella sua pagina. Il file poi vale solo per il dominio o sottodominio da cui viene servito, quindi va copiato su ognuno. E resta una preferenza: Cloudflare stessa scrive che i segnali nel robots.txt non sono contromisure tecniche contro chi raccoglie i dati senza chiedere.
Chi è su Cloudflare può trovare nel file righe che non ha scritto: il robots.txt gestito aggiunge i Content Signals, come Content-Signal: search=yes, ai-train=no. Sono un’altra sintassi, nata da Cloudflare nel settembre 2025, e nessuna pagina di Cloudflare letta l’11 novembre dice se aggiungerà anche __usage_ai-training. Per vedere cosa servi, apri tuosito.it/robots.txt nel browser.
Il robots.txt toglie i testi già usati per addestrare?
No: i blocchi e il segnale valgono per quello che i crawler raccolgono da quando li scrivi. Anthropic parla di materiali futuri, Microsoft di addestramento futuro, e la bozza IETF lega la preferenza al robots.txt in vigore quando il contenuto è stato prelevato. Quello che un modello ha già imparato resta dov’è. Per questo il gruppo del segnale conviene scriverlo adesso.
Robots.txt e addestramento: cosa dice la legge in Italia e fuori
In Italia e nell’Unione europea il no all’addestramento scritto in un formato leggibile dalle macchine è una riserva dei diritti, con un peso giuridico. La direttiva (UE) 2019/790, all’articolo 4, consente l’estrazione di testo e dati da opere accessibili legalmente salvo che il titolare l’abbia riservata, per i contenuti online con strumenti a lettura automatizzata.
La legge italiana sul diritto d’autore lo ripete all’articolo 70-quater, e il 70-septies, aggiunto nel 2025, estende la regola alle estrazioni fatte con l’intelligenza artificiale, anche generativa. L’AI Act, all’articolo 53, obbliga i fornitori di modelli per finalità generali a rispettare la riserva. Il Codice di condotta europeo del 10 luglio 2025, firmato fra gli altri da Google, Microsoft, OpenAI e Anthropic, chiede crawler che seguano il robots.txt.
| Dove | Cosa vale per l’addestramento sui testi del sito | Fonte |
|---|---|---|
| Italia | Estrazione consentita salvo riserva espressa del titolare, anche quando la fa un sistema di AI generativa. | L. 633/1941, artt. 70-quater e 70-septies |
| Unione europea | La riserva si esprime con strumenti leggibili da macchina; i fornitori di modelli generali devono rispettarla. | Dir. 2019/790, art. 4(3); reg. 2024/1689, art. 53(1)(c) |
| Codice di condotta UE | I firmatari usano crawler che seguono il robots.txt e i protocolli leggibili da macchina diffusi o adottati da enti di normazione. | Codice GPAI, capitolo Copyright, misura 1.3 |
| Regno Unito | L’eccezione per l’estrazione di testo e dati copre solo la ricerca non commerciale; il robots.txt vale come preferenza. | CDPA 1988, s. 29A |
| Stati Uniti | Nessuna norma letta per questa pagina: il segnale vale come impegno volontario dei fornitori. | Post di Google, OpenAI, Microsoft |
Che __usage_ai-training basti da solo come riserva non l’ha ancora detto un giudice né la Commissione: Google lo presenta come coerente col Codice. Il 13 luglio 2026 la Commissione ha pubblicato uno studio di fattibilità su un registro europeo degli opt-out, da affiancare alle soluzioni esistenti, senza decidere nulla. Per i temi vicini ci sono le guide su immagini AI e diritto d’autore e sull’AI Act per i contenuti generati.
Cosa è confermato e cosa no
Confermati l’annuncio, la sintassi e le date di Microsoft; senza giorno Google e OpenAI; nessuna dichiarazione da Apple, Meta, Perplexity e Common Crawl. La tabella raccoglie ogni fatto con la data e la fonte, lette l’11 novembre 2026. La pagina si rilegge entro il 1° febbraio 2027 e a ogni annuncio di Google o OpenAI.
| Fatto | Data e fonte | Stato |
|---|---|---|
| Annuncio del segnale comune | 30 ottobre 2026; blog di Google, OpenAI e Bing | Confermato |
| Sintassi User-Agent: __usage_ai-training | 30 ottobre 2026; bozza IETF -00 e post di Bing | Confermato, bozza non ancora standard |
| Anthropic lo riconosce | Dal 30 ottobre 2026; Claude Help Center | Confermato, in estensione graduale |
| Bing: preferenza temporanea di grounding | 15 dicembre 2026; blog di Bing | Annunciato, non ancora attivo |
| Microsoft lo rispetta | 1° febbraio 2027; blog di Bing | Annunciato, non ancora attivo |
| NoArchive e NoCache non bastano più su Bing | 1° marzo 2027; blog di Bing | Annunciato |
| Google lo sostiene | Nel 2027, inizio 2027 nella documentazione; Google Search Central | Annunciato, senza giorno |
| OpenAI lo implementa | Nei prossimi mesi; blog di OpenAI | Annunciato, senza data |
| Apple, Meta, Perplexity, Common Crawl aderiscono | Nessuna fonte letta | Non confermato |
| Il segnale vale come riserva dei diritti nell’UE | Nessuna decisione; Google lo dice coerente col Codice | Non deciso |
| Registro europeo degli opt-out | Studio del 13 luglio 2026; Commissione europea | Solo studio |
La porta aperta non basta. La mattina del 25 settembre 2026, per la ricerca web di Claude, itria.io aveva una pagina sola; la sera, dopo aver chiesto a Brave di rileggerne sette, cinque. Il robots.txt lasciava già entrare tutti: mancava l’indice. Il prima e dopo è nel laboratorio su Brave e Claude.
Il CDN che riscrive la pagina. Un’impostazione di Cloudflare toglieva la mail dall’HTML e la rimetteva con uno script: per un assistente la pagina contatti era senza contatti. Lo stesso difetto su 14 siti di produttori su 121, nel laboratorio sulla mail invisibile.
Il risultato. Fra l’11 ottobre e il 7 novembre 2026 il rapporto AI Performance di Bing ha contato 268 citazioni di pagine di itria.io in Copilot, e Search Console 3.550 impression in AI Overview e AI Mode. Come si lavora su un’azienda vera è nella pagina sulla presenza su motori e assistenti AI; le altre guide sono nell’indice del marketing per PMI.
Domande e risposte
Il segnale __usage_ai-training funziona già?
Solo in parte. Anthropic ha cominciato a riconoscerlo dal 30 ottobre 2026, con un’estensione graduale. Microsoft lo rispetterà dal 1° febbraio 2027, Google ha annunciato il 2027 e OpenAI «i prossimi mesi».
Fino ad allora il no all’addestramento passa dai gruppi dei singoli crawler: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
Se blocco Google-Extended esco dalle AI Overview?
No. Google-Extended governa l’addestramento di Gemini e le citazioni nelle app Gemini; Google scrive che non incide sull’inclusione nella Ricerca. AI Overview e AI Mode seguono Googlebot e i meta nosnippet, max-snippet e noindex.
Posso dire no all’addestramento di Gemini e restare citato nelle app Gemini?
Oggi no. Google-Extended copre insieme l’addestramento e il grounding delle app Gemini, e Google ha scritto che il segnale comune, senza un gruppo per Google-Extended, varrà come un blocco a Google-Extended. Chi vuole le citazioni in Gemini deve permettere Google-Extended, e con esso l’addestramento.
Il robots.txt toglie i miei testi dai modelli già addestrati?
No. Il blocco vale per quello che i crawler raccolgono da quando è scritto. Anthropic parla di materiali futuri, e la bozza IETF lega la preferenza al robots.txt in vigore quando il contenuto è stato prelevato.
In Italia il robots.txt ha valore legale contro l’addestramento?
Sì, come riserva dei diritti: la legge sul diritto d’autore, agli articoli 70-quater e 70-septies, e la direttiva (UE) 2019/790 permettono l’estrazione di testo e dati salvo riserva del titolare, e l’AI Act obbliga i fornitori di modelli generali a rispettarla. Se il nuovo segnale basti da solo come riserva, nessuna autorità l’ha ancora detto. Questa è un’informativa, non una consulenza legale.
Note sulle fonti
- Google Search Central, Supporting a shared AI training control for websites, 30 ottobre 2026, CC BY 4.0: da qui la frase citata, il trattamento di Google-Extended e il grounding nelle app Gemini. Google, crawler comuni, aggiornata il 30 ottobre 2026 (inizio 2027), e AI features and your website.
- OpenAI, Making it easier for websites to express AI training preferences, 30 ottobre 2026, e Overview of OpenAI Crawlers: GPTBot, OAI-SearchBot, ChatGPT-User, le 24 ore.
- Microsoft Bing, Your content, your choice, Krishna Madhavan, 30 ottobre 2026: da qui la frase citata, le due preferenze, la sintassi dei meta e le date del 15 dicembre 2026, 1° febbraio, 1° marzo e 30 settembre 2027.
- IETF, draft-kelley-aipref-training-preference-signal-00, K. Kelley (Anthropic), 30 ottobre 2026, bozza individuale che scade il 3 maggio 2027: un documento di lavoro, non uno standard.
- Anthropic, pagina sui crawler, aggiornata nella settimana dell’11 novembre 2026: ClaudeBot, Claude-SearchBot, Claude-User, il riconoscimento dal 30 ottobre, il blocco per IP. La pagina non scrive il nome dell’etichetta, che viene dalla bozza IETF.
- Apple, About Applebot, 4 settembre 2026; Common Crawl, CCBot; Cloudflare, Content Signals Policy, 24 settembre 2025, e robots.txt gestito: documentazione di un fornitore sul proprio prodotto.
- Direttiva (UE) 2019/790, art. 4; legge 633/1941, art. 70-quater e art. 70-septies; regolamento (UE) 2024/1689, art. 53; CDPA 1988, s. 29A.
- Commissione europea, Codice di condotta per i modelli di AI per finalità generali, pubblicato il 10 luglio 2025, con l’elenco dei firmatari; studio sul registro degli opt-out, 13 luglio 2026 (letta la pagina di presentazione).
- I post di Mattia Esposito citati sono su LinkedIn, del 7 e del 21 settembre 2026. I numeri di itria.io vengono da Search Console (rapporto sull’AI generativa) e da Bing Webmaster Tools, finestra dall’11 ottobre al 7 novembre 2026. Tutte le pagine sono state lette l’11 novembre 2026.
Dire no all’addestramento è una riga. Farsi citare è il resto del sito. Il posizionamento si costruisce partendo dal mercato.
Mattia Esposito, che ha scritto questa guida, con Itria lavora anche sul posizionamento: analisi di mercato approfondite per capire dove i concorrenti sono scoperti e prendersi quello spazio. Lo ha fatto prima sul suo sito. Ad agosto, chiesto chi avesse fondato itria.io, ChatGPT non lo trovava. Dall’11 ottobre al 7 novembre 2026 le pagine di itria.io sono comparse 13.803 volte nei risultati di Google e Bing e 3.818 volte nelle risposte dell’intelligenza artificiale: AI Overview e AI Mode di Google, Copilot di Microsoft.