Ce Este robots.txt și Cum Îl Configurezi Corect pentru SEO

Ce Este robots.txt și Cum Îl Configurezi Corect pentru SEO

Fișierul robots.txt este unul dintre cele mai simple, dar și cele mai periculoase instrumente din SEO tehnic. Configurat corect, ajută motoarele de căutare să crawleze eficient site-ul. Configurat greșit, poate bloca indexarea unor pagini importante sau chiar a întregului site.

Orice specialist SEO trebuie să înțeleagă cum funcționează robots.txt și ce poate și nu poate face acest fișier.

Ce este fișierul robots.txt

robots.txt este un fișier text plasat în rădăcina site-ului (site.ro/robots.txt) care conține instrucțiuni pentru crawlerii motoarelor de căutare. Aceste instrucțiuni specifică ce secțiuni ale site-ului pot sau nu pot fi accesate de boți.

Standardul Robots Exclusion Protocol este respectat de toți crawlerii majori: Googlebot, Bingbot, DuckDuckBot. Boții rău-intenționați ignoră adesea robots.txt.

Sintaxa de bază

Un fișier robots.txt simplu conține: User-agent (care indică crawlerul vizat, * pentru toți), Disallow (URL-urile sau folderele blocate) și Allow (excepții la regulile Disallow).

Exemplu: User-agent: * urmat de Disallow: /wp-admin/ blochează accesul tuturor crawlerilor la folderul de administrare WordPress.

Ce ar trebui blocat în robots.txt

Paginile de administrare (/wp-admin/, /wp-login.php), paginile de căutare internă, paginile de autentificare și checkout și folderele cu resurse tehnice care nu aduc valoare SEO.

Nu blocați niciodată fișierele CSS și JavaScript ale temei principale, deoarece Google are nevoie de ele pentru a randa corect pagina și a evalua experiența utilizatorului.

Greșeli critice de evitat

Cea mai gravă greșeală este Disallow: / care blochează crawlarea întregului site. Această linie apare uneori în site-urile noi, configurate inițial ca private și uitate în această stare după lansare.

Blocarea paginilor în robots.txt nu le elimină din indexul Google dacă au backlink-uri externe. Google poate indexa URL-ul fără să crawleze pagina. Pentru a exclude complet o pagină din index, folosiți meta robots noindex, nu robots.txt.

robots.txt și sitemap-ul XML

Adăugați în fișierul robots.txt linia Sitemap: https://www.site.ro/sitemap.xml pentru a facilita descoperirea sitemap-ului de către crawleri. Verificați periodic că fișierul robots.txt nu blochează accidental URL-uri listate în sitemap, deoarece această contradicție afectează indexarea.