# Robots.txt

> Αρχείο που λέει στις μηχανές αναζήτησης ποια σημεία του site επιτρέπεται να ανιχνεύσουν.

Source: https://anotherseoguru.com/el/glossary/robots-txt

Το robots.txt είναι ένα απλό αρχείο κειμένου στη ρίζα του site (π.χ. anotherseoguru.com/robots.txt) που δίνει οδηγίες στα ρομπότ: τι να ανιχνεύσουν και τι όχι. Προσοχή: ένα λάθος Disallow μπορεί να εξαφανίσει ολόκληρο site από τη Google - από τα πρώτα πράγματα που ελέγχουμε σε κάθε τεχνικό audit.

## Παράδειγμα

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml

## Πώς να το εφαρμόσετε

Μπλοκάρετε σελίδες διαχείρισης, δοκιμαστικά περιβάλλοντα (staging), σελίδες εσωτερικής αναζήτησης και URLs φίλτρων και ταξινόμησης χωρίς αξία. Αφήνετε πάντα ελεύθερα τα αρχεία CSS και JS. Δηλώστε τη θέση του sitemap.

> **Συμβουλή:** Το robots.txt μπλοκάρει το crawl, όχι την ευρετηρίαση. Αν άλλα sites παραπέμπουν σε αυτές τις σελίδες, μπορούν να εμφανιστούν στα αποτελέσματα.

## Σχετικοί όροι

- [Crawling (Ανίχνευση)](https://anotherseoguru.com/el/glossary/crawling)
- [Noindex Tag](https://anotherseoguru.com/el/glossary/noindex)
- [Crawl Budget](https://anotherseoguru.com/el/glossary/crawl-budget)