Η Google λανσάρει επίσημο εργαλείο για έλεγχο του robots.txt

Το αρχείο robots.txt είναι ένα αρχείο-κλειδί για το SEO μιας ιστοσελίδας, αλλά μερικές φορές μπορεί να δημιουργεί σημαντικά προβλήματα. Για παράδειγμα, το αρχείο robots.txt είναι ικανό να εμποδίσει την κατάταξη οποιασδήποτε σελίδας στα αποτελέσματα των μηχανών αναζήτησης ή ακόμα και να εμποδίσει την ανάγνωση ολόκληρου του domain.

Η Google, θέλοντας να βοηθήσει τους Webmasters, ανακοίνωσε χθες ένα επίσημο εργαλείο για τον έλεγχο του robots.txt που είναι διαθέσιμο μέσω του Google Webmaster Tools. Μπορείτε να βρείτε το εν λόγω εργαλείο μέσω της καρτέλας “Crawl” του προφίλ σας στο Google Webmaster Tools.

Πλέον έχετε τη δυνατότητα να δείτε το αρχείο robots.txt που αναγνωρίζει η Google για τη σελίδα σας και να ελέγξετε συγκεκριμένα URLs ώστε να διαπιστώσετε αν γίνεται σωστά η ανάγνωση τους. Ακόμη, γίνεται επισήμανση των στοιχείων που καθορίζουν την τελική απόφαση του Googlebot για κάποιο URL ή για ολόκληρο το domain.

Μπορείτε να κάνετε αλλαγές στο αρχείο robots.txt της ιστοσελίδας σας και να ελέγξετε την επίπτωση τους επί τόπου. Όταν όλα θα λειτουργούν όπως πρέπει, κάνετε upload το νέο αρχείο στον server σας και οι αλλαγές θα πραγματοποιηθούν άμεσα και χωρίς φόβο για κάποιο λάθος (εφόσον προηγουμένως έχει γίνει έλεγχος μέσω του νέου εργαλείου).

Αν έχετε διαπιστώσει κάποιο λάθος σε παλιότερες ιστοσελίδες σας, η Google συμβουλεύει να ελέγξετε διπλά τα αρχεία robots.txt αυτών. Ένα κοινό πρόβλημα των παλαιότερων αρχείων robots.txt είναι ότι μπορεί να μπλοκάρουν την CSS, την JavaScript ή το περιεχόμενο για φορητές συσκευές. Όταν και αν τα παραπάνω προβλήματα εντοπιστούν, συνήθως η λύση είναι απλή.

Η ομάδα της Google προτείνει να χρησιμοποιήσετε το συγκεκριμένο εργαλείο ακόμα και αν είσαστε σίγουροι πως το αρχείο robots.txt είναι εντάξει, καθώς μερικά προβλήματα είναι εύκολο να μη γίνουν αντιληπτά.

Ακόμη, καλό είναι να ελέγξετε και μερικές από τις σημαντικότερες σελίδες του website σας, ώστε να διαπιστώσετε μήπως κατά λάθος μπλοκάρεται η CSS ή η JavaScript σε κάποια από αυτές.

Για περισσότερες πληροφορίες σχετικά με το νέο εργαλείο, επισκεφτείτε την αντίστοιχη σελίδα βοήθειας.