Bing ha annunciato uno strumento di verifica Robots.txt migliorato. Lo strumento soddisfa un’esigenza importante perché sbagliare un robots.txt può portare a risultati SEO imprevisti. La produzione di un file robots.txt perfetto è essenziale e una priorità assoluta per il SEO.
Un file robots.txt è un file che dice ai crawler dei motori di ricerca cosa fare e cosa non fare su un sito web. Un file robots.txt è uno dei pochi modi in cui un editore può esercitare il controllo sui motori di ricerca.
Screenshot dello strumento di test Bing Robots.txt
Anche se non è necessario bloccare un crawler di ricerca, è comunque importante averne uno per non generare una notazione di log degli errori 404 inutile.
Errori su un file Robots.txt possono portare i motori di ricerca a eseguire la scansione di pagine che non dovrebbero essere indicizzate.
Le voci involontarie in un file robots.txt possono anche comportare il mancato posizionamento delle pagine Web perché vengono bloccate accidentalmente.
Gli errori in un file robots.txt sono una fonte comune di problemi di posizionamento nelle ricerche. Ecco perché è così importante che lo strumento di verifica robots.txt avanzato di Bing
Sii proattivo con i test e la diagnostica di Robots.txt
Gli editori possono ora essere proattivi sulla revisione e il test dei propri file Robots.txt.
Testare per vedere come un crawler di ricerca risponde a un file robots.txt e diagnosticare possibili problemi sono caratteristiche importanti che possono aiutare il SEO di un editore.
Questo strumento può anche essere utile per i consulenti di controllo della ricerca per aiutarli a identificare possibili problemi che devono essere corretti.
Il nuovo strumento di Bing soddisfa un’importante esigenza, come descritto da Bing:
“Mentre il protocollo di esclusione dei robot dà il potere di informare i robot web e i crawler su quali sezioni di un sito web non devono essere elaborate o scansionate, il numero crescente di motori di ricerca e parametri ha costretto i webmaster a cercare il loro file robots.txt tra i milioni di cartelle sui loro server di hosting, modificandoli senza guida e infine grattandosi la testa poiché il problema di quel crawler indesiderato persiste “.
Queste sono le azioni eseguite dallo strumento Bing robots.txt per fornire informazioni utilizzabili:
- Analizza robots.txt
- Identifica i problemi
- Guida gli editori attraverso il processo di recupero e caricamento.
- Controlla le istruzioni allow / disallow
Secondo Bing:
“Il tester Robots.txt aiuta i webmaster non solo ad analizzare il loro file robots.txt ed evidenziare i problemi che impedirebbero loro di essere scansionati in modo ottimale da Bing e altri robot; ma li guida anche passo passo dal recupero dell’ultimo file al caricamento dello stesso file all’indirizzo appropriato.
I webmaster possono inviare un URL allo strumento Tester robots.txt e funziona come farebbero Bingbot e BingAdsBot, per controllare il file robots.txt e verificare se l’URL è stato consentito o bloccato di conseguenza “.
Una caratteristica utile dello strumento tester robots.txt è che mostra quattro versioni del file robots.txt nell’editor che corrispondono alla versione sicura e non sicura di con e senza prefisso WWW, ovvero
- http: //
- https: //
- http: // www
- https: // www.
