Tester e Validatore Robots.txt Gratuito
Testa e valida qualsiasi file robots.txt in tempo reale. Verifica se Googlebot, Bingbot e bot IA come GPTBot o Claude possono scansionare i tuoi URL, individua errori di sintassi e prova modifiche direttamente nel browser.
Testa e valida il tuo robots.txt
Analizza il robots.txt online del tuo sito o incolla le direttive per verificare i permessi prima del rilascio.
Scelto in tutto il mondo
La scelgono migliaia di professionisti SEO
Dai consulenti indipendenti alle agenzie globali, i team scelgono TrueRanker per unificare SEO e visibilità nell’IA.
Come testare e validare il tuo robots.txt in tre passaggi
Recupera il file online da qualsiasi dominio o incolla la tua bozza per testare le regole prima di pubblicarle.
Inserisci il dominio o incolla le regole
Digita l’URL del tuo sito per analizzare il robots.txt online, oppure passa alla modalità testo per verificare bozze prima della pubblicazione.
Testa percorsi URL e User-Agent specifici
Scegli un crawler come Googlebot, Bingbot, GPTBot o ClaudeBot, inserisci il percorso e scopri subito se l’accesso è Consentito o Bloccato secondo RFC 9309.
Verifica la sintassi e modifica online
Controlla errori di sintassi, direttive obsolete e sitemap dichiarate. Modifica il testo nell’editor integrato e scarica la versione corretta.
Cosa analizza il tester nel tuo robots.txt
Sei controlli essenziali eseguiti all’istante secondo gli standard moderni e la specifica RFC 9309.
Validazione della sintassi RFC 9309
Rileva due punti mancanti, regole orfane senza User-agent precedente, direttive sconosciute e righe con formattazione errata.
Priorità della regola più lunga
Implementa la sezione 2.2.2 della RFC 9309: vince il pattern più lungo, e la direttiva Allow ha la precedenza su Disallow a parità di caratteri.
Caratteri jolly e ancoraggi di fine URL
Valuta con precisione * (qualsiasi sequenza di caratteri) e $ (fine del percorso URL) rispetto a parametri e stringhe di query.
Matrice motori di ricerca vs bot IA
Verifica simultaneamente i permessi di accesso per motori di ricerca classici (Googlebot, Bingbot) e scraper di IA generativa (GPTBot, ClaudeBot, PerplexityBot).
Dichiarazioni Sitemap XML
Rileva e convalida tutte le righe Sitemap: per assicurare che i motori di ricerca trovino la mappa delle tue pagine canoniche.
Avvisi di blocco totale e limiti di dimensione
Avverte se una regola Disallow: / blocca accidentalmente l’intero sito o se il file supera il limite Google di 512 KiB.
Il robots.txt controlla la scansione, non l’indicizzazione
Un errore diffuso nella SEO tecnica è credere che una direttiva Disallow nel robots.txt rimuova una pagina dall’indice di Google. Non è così: impedisce solo ai crawler di scaricarne il contenuto.
Se una pagina bloccata riceve link interni o esterni, Google può indicizzarne l’URL, il titolo e l’anchor text senza scansionarne il corpo. Per impedire l’indicizzazione, la pagina deve essere accessibile in modo che Googlebot possa leggere un tag meta robots noindex o un’intestazione X-Robots-Tag.
Da settembre 2019 Google non supporta ufficialmente la direttiva noindex all’interno del robots.txt. Questo strumento segnala direttive obsolete come noindex e crawl-delay affinché il file rispetti gli standard attuali.
- Il robots.txt gestisce il crawl budget e le risorse del server
- Bloccare un URL non ne garantisce la scomparsa dai risultati di ricerca
- Usa meta robots noindex su pagine scansionabili per evitare l’indicizzazione
- Le dichiarazioni di sitemap aiutano i motori a scoprire le pagine chiave
Errori comuni nel robots.txt
- Usare Disallow per deindicizzare pagine
- Scrivere noindex nel robots.txt (ignorato da Google)
- Bloccare accidentalmente file CSS, JS o immagini necessari al rendering
- Bloccare Googlebot pensando di fermare solo i bot di intelligenza artificiale
Oltre il robots.txt: monitoraggio posizionamento e SEO tecnica
Validare il robots.txt assicura che i crawler possano accedere alle tue pagine. Ma per conoscere le reali prestazioni nei risultati di ricerca e nelle risposte IA serve un monitoraggio costante.
TrueRanker traccia quotidianamente i posizionamenti delle tue parole chiave su desktop e mobile, rileva errori tecnici on-page, monitora i backlink e misura la visibilità del brand in ChatGPT, Claude e Gemini.
- Monitoraggio posizioni quotidiano geolocalizzato a livello di città e CAP
- Audit del sito per link interrotti, tag duplicati ed errori di scansione
- Tracciamento visibilità IA per citazioni e menzioni del brand nei LLM
- Notifiche immediate in caso di cali di ranking o pagine bloccate
Cosa monitora TrueRanker
- Ranking giornalieri su Google con rilevamento funzionalità SERP
- Menzioni e citazioni del brand in ChatGPT, Claude e Gemini
- Guadagni e perdite di backlink e salute dei domini di riferimento
- Errori SEO tecnici on-page su tutti i tuoi URL
Cosa dicono i professionisti e le agenzie SEO che usano TrueRanker
“Con TrueRanker gestisco la SEO dei miei progetti. È uno strumento essenziale per monitorare ogni giorno l’effetto delle nostre modifiche On-Page e delle strategie di link building. ✌🏼”
“Non so come facevo senza TrueRanker. È diventato il mio rank tracker SEO quotidiano per tutti i progetti e le estensioni Chrome, qualcosa che nessun altro tool sa fare. Lo consiglio vivamente!”
“TrueRanker è un top tool che uso con i clienti e nei miei progetti perché ciò che non si misura non si migliora.”
“Il miglior tool per il tracking, supporto davvero cordiale e aperto a modifiche e miglioramenti. Da qui puoi generare qualcosa… e quello che ho detto è davvero vero.”
“Uso TrueRanker dal 2022 per il tracking delle keyword, e oggi è uno dei miei tool SEO principali. Gestisce con precisione ranking, concorrenti, audit SEO e visibilità IA, sostituendo alternative più costose. Inoltre il supporto è eccellente. Lo consiglio!”
“Confrontiamo regolarmente i tool di keyword tracking e da oltre tre anni TrueRanker è la prima scelta della nostra agenzia SEO. L’interfaccia intuitiva, i piani scalabili e il supporto reattivo ci danno tutto ciò che serve per monitorare con precisione i ranking dei clienti.”
“Uso TrueRanker da agosto sul mio blog. Quello che apprezzo di più è che mi dice ogni giorno che cosa è successo a quello che ho già pubblicato, e il punteggio GEO degli audit mi ha fatto vedere che nessun riassunto IA di Google mi citava. Nella mia lingua, con un supporto vicino e una prova senza carta per verificarlo prima di pagare.”
Domande frequenti sul test del file robots.txt
Tutto quello che c’è da sapere sulle direttive robots.txt, il comportamento di Googlebot, i bot IA e la risoluzione degli errori.
Cos’è un file robots.txt e a cosa serve?
Il robots.txt è un file di testo posizionato nella root del tuo dominio (es. tuosito.com/robots.txt) basato sul Robots Exclusion Protocol (RFC 9309). Comunica ai crawler quali percorsi possono o non possono richiedere, preservando le risorse del server.
Come faccio a verificare se un URL è bloccato dal robots.txt?
Inserisci il tuo dominio, scegli il bot (come Googlebot o Bingbot) e indica il percorso da verificare (es. /blog/post o /admin/). Lo strumento applica le regole secondo la precedenza RFC 9309 e ti mostra subito se l’accesso è Consentito o Bloccato con la riga esatta.
Come posso inviare un robots.txt aggiornato a Google?
Google esegue la scansione e aggiorna il robots.txt automaticamente più volte al giorno. Per aggiornamenti urgenti, entra in Google Search Console, vai su Impostazioni > robots.txt e richiedi una nuova scansione.
Cosa succede se una regola Allow e una Disallow corrispondono allo stesso URL?
Secondo la specifica RFC 9309, prevale la regola con il pattern di caratteri più lungo. A parità identica di caratteri, la direttiva Allow ha la priorità assoluta su Disallow.
Come posso bloccare i crawler IA senza bloccare Google?
Puoi definire blocchi User-agent dedicati per i bot IA, come "User-agent: GPTBot", "User-agent: ClaudeBot" o "User-agent: CCBot" con "Disallow: /". Googlebot continuerà a scansionare il sito secondo il proprio blocco o quello generale User-agent: *.
Posso usare "Noindex" nel robots.txt per rimuovere pagine da Google?
No. Google ha interrotto il supporto alla direttiva noindex nel robots.txt da settembre 2019. Per escludere pagine, usa il meta tag robots noindex o un’intestazione X-Robots-Tag su pagine accessibili ai crawler.
Googlebot rispetta la direttiva Crawl-delay?
No. Googlebot ignora Crawl-delay. Per regolare la frequenza usa Search Console o limiti a livello di server (codice HTTP 429). Bingbot rispetta Crawl-delay in secondi interi.
Dove deve trovarsi il file robots.txt?
Deve risiedere esattamente nella root principale del dominio, accessibile su /robots.txt (es. https://tuosito.com/robots.txt). Percorsi in sottocartelle non vengono riconosciuti.
Il file robots.txt distingue tra maiuscole e minuscole?
I nomi delle direttive non distinguono tra maiuscole e minuscole. Tuttavia, i percorsi URL sono case-sensitive: "Disallow: /Admin" blocca /Admin/ ma NON blocca /admin/.
Vuoi il controllo totale sui tuoi ranking e sulla salute SEO?
Monitora le posizioni delle tue keyword ogni giorno, controlla i backlink e audita errori tecnici con TrueRanker. Prova 14 giorni gratis.