Generatore di robots.txt

Cos'è Generatore di robots.txt?

Il Generatore di robots.txt è uno strumento gratuito che funziona nel browser e scrive il file robots.txt che i crawler web leggono nella radice del tuo sito per decidere cosa possono recuperare. Imposti lo User-agent (predefinito *), elenchi un percorso Disallow per riga e le eventuali eccezioni Allow, aggiungi facoltativamente un Crawl-delay e un URL di Sitemap, e lo strumento trasforma il tutto nelle direttive corrette. Include anche una preimpostazione con caselle di controllo che blocca i noti crawler di addestramento di IA — GPTBot, ClaudeBot, CCBot e Google-Extended — aggiungendo un gruppo separato per ciascuno. Proprietari di siti, specialisti SEO e sviluppatori lo usano al lancio di un sito, per nascondere ai motori di ricerca percorsi di amministrazione o di staging, o per rinunciare allo scraping da parte dell'IA. Copia il risultato in un file chiamato robots.txt nella radice del tuo dominio, oppure usa il pulsante Scarica.

Come usare Generatore di robots.txt

1. Inserisci lo user-agent a cui si applicano le regole, oppure lascialo come * per tutti i crawler.
2. Digita i percorsi da bloccare nella casella Disallow, uno per riga (ad esempio /admin/ o /private/).
3. Aggiungi le eccezioni Allow, una per riga, per riconsentire i sottopercorsi all'interno di una cartella bloccata.
4. Imposta facoltativamente un crawl-delay in secondi e incolla l'URL completo del tuo sitemap.
5. Seleziona le caselle dei crawler di IA (GPTBot, ClaudeBot, CCBot, Google-Extended) per impedire che facciano scraping dei tuoi contenuti.
6. Copia il robots.txt generato o fai clic su Scarica, poi colloca il file nella radice del tuo sito.

Esempi

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

Bloccare GPTBot, ClaudeBot, CCBot, Google-Extended

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Domande frequenti

Cosa fa davvero robots.txt?

È un file di testo semplice nella radice del tuo sito che indica ai crawler conformi quali percorsi possono o non possono richiedere, tramite regole Allow e Disallow raggruppate per User-agent. È una richiesta, non un'imposizione: i bot ben educati come Googlebot la rispettano, ma non blocca l'accesso agli strumenti che la ignorano, quindi non usarlo mai per nascondere dati davvero sensibili.

Come funzionano le preimpostazioni di blocco dei crawler di IA?

Ogni casella aggiunge un gruppo dedicato come 'User-agent: GPTBot' seguito da 'Disallow: /', che chiede a quel crawler di non recuperare alcuna pagina. GPTBot è il crawler di OpenAI, ClaudeBot quello di Anthropic, CCBot è Common Crawl e Google-Extended controlla l'uso dei tuoi contenuti per i modelli di IA di Google. Selezionare una casella aggiunge il suo gruppo; deselezionarla lo rimuove.

Qual è la differenza tra Allow e Disallow?

Disallow elenca i prefissi di percorso che un crawler non dovrebbe richiedere, mentre Allow riconsente un sottopercorso più specifico all'interno di una cartella bloccata. Ad esempio, Disallow: /files/ con Allow: /files/public/ blocca la cartella ma mantiene scansionabile la sottocartella public. Inserisci un percorso per riga in ogni casella.

Dove metto il file generato?

Salvalo come file chiamato letteralmente robots.txt e caricalo nella radice del tuo dominio, così da renderlo raggiungibile a https://yourdomain.com/robots.txt. I crawler guardano solo lì; un robots.txt in una sottocartella viene ignorato. Usa il pulsante Scarica per salvarlo direttamente.

Qualcosa di ciò che digito viene inviato a un server?

No. Il robots.txt viene generato interamente nel tuo browser con JavaScript. I tuoi percorsi, lo user-agent, l'URL del sitemap e le tue scelte non vengono mai caricati, memorizzati o trasmessi, quindi è sicuro redigere regole per siti privati o non ancora pubblicati.