Mire való?
A fájl a domain gyökerében található, és robotonként adhat Allow vagy Disallow szabályokat. Segít a crawl-kapacitás irányításában.
Mire nem való?
- Titkos tartalom védelmére.
- Biztos indexelés-tiltásra.
- 404 vagy átirányítás helyettesítésére.
- Felhasználói jogosultságkezelésre.
Egyszerű példa
User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://pelda.hu/sitemap.xmlGyakori hibák
- Disallow: / éles környezetben.
- Elgépelés vagy rossz útvonal.
- CSS és JavaScript indokolatlan blokkolása.
- Eltérő hostra mutató sitemap.
Mit ellenőrizz?
- A fájl elérhető-e 200-as státusszal.
- A fontos oldalak feltérképezhetők-e.
- A sitemap hivatkozás helyes-e.
- Nincs-e környezetből bent maradt tiltás.
Gyakori kérdések
Automatikusan ellenőrizhető a robots.txt?
A SEO Analyzer a technikailag mérhető részeket automatikusan ellenőrzi, majd prioritás és javítási javaslat szerint rendezi.
Egyetlen javítás elég a jobb helyezéshez?
Nem. A technikai SEO alapot ad, de a tartalom, a keresési szándék, a belső linkelés és a külső hivatkozások együtt hatnak.