Un comando base del robots.txt sbagliato anche da SEOmoz

Scrivo questo mini post solo per chiarire la sintassi corretta di un comando del Robots.txt che viene sbagliato da moltissime persone.

Dopo aver letto il nuovo post di SEOMoz che spiega ai neofiti i comandi base del robots.txt, mi sono messo anche io a fare il mini-test interattivo (leggetelo tutto l'articolo dato che è fatto molto bene).

Tra i vari comandi base c'è anche per quello indicare la sitemap al Robots.txt. SEOMoz, come svariati altri siti, sbagliano nello spiegare la sintassi di questo utilissimo comando.

Nell'articolo, infatti, viene indicata la sintassi:

Sitemap: /nome-sitemap.xml

Che purtroppo è totalmente sbagliata: Google non considererà assolutamente nome-sitemap.xml.Allo stesso modo se avessimo indicato solo nome-sitemap.xml senza lo slash, il risultato sarebbe stato uguale: Google avrebbe ignorato quella riga.

Qual'è la sintassi corretta? La sintassi corretta, nonché unica, è:

Sitemap: http://www.sito.it/nome-sitemap.xml

Questo è l'unica sintassi che Google accetta per la dichiarazione di una sitemap nel robots.txt, l'url deve essere sempre assoluto.

Basta fare una rapida prova sul proprio Webmaster Tools, cambiando la riga del Robots.txt in questione, per accorgersi di questi risultati:

Purtroppo questo è un errore frequente, perché è quasi impossibile trovare riferimenti in merito. (ho notato che altri blog seo, anche inglesi, continuano a indicare la versione con path relativa nelle proprie "guide seo" continuando a disinformare gli utenti).

Nel web ci sono numerosissimi siti di rilevanza nazionale/internazionale che sbagliano la sintassi (esempio istituzionale, esempio business).

I credits per questa chicca non sono miei: Emanuele Tolomei, qualche mese fa, mi ha segnalato quell'errore su Google Webmaster Tools per il sito di un nostro cliente e, anche se un pò perplesso, ho incominciato a indagare (dato che molti siti SEO famosi mi dicevano che la sintassi era corretta) e dopo alcune prove in ufficio ho scoperto che la path assoluta è l'unica accettata da Google.

Buono a sapersi

Articoli correlati:

1. File Robots Il robots.txt è un particolare file che è posizionato nella root di un dominio e permette di gestire l'accesso, e quindi l'indicizzazione, dei contenuti da parte dei crawler. Il file robots è formato da una...