Cum faci crawlerii si robotii motoarelor de cautare sa iti indexeze mai bine site-ul

crawler

Cand trebuie sa permiti sau sa interzici accesul motoarelor de cautare la fisierul robots.txt, sau cand trebuie folosite tagurile meta robots in titlul unei pagini? Care este situatia cu link-urile de tip nofollow?

Robotii si crawlerii de la Google si de la alte motoare de cautare pot fi controlati spre o indexare mai buna prin cateva modalitati. Una dintre acestea este reprezentata de activarea fisierului robots.txt. Acest fisier spune robotilor si crawlerilor ce sa acceseze si ce sa nu acceseze. Nu de fiecare data acest lucru este respectat insa de Google sau Bing. Poti primi din partea altora sfatul de a nu permite accesul la fisierul robots.txt, insa adesea motoarele de cautare considera ca stiu mai bine. Accesand site-ul considera ca ai facut o greseala dezactivand fisierul si observa ca exista numeroase link-uri catre un anume continut, ca acesta prezinta interes, si il indexeaza astfel. Din acest motiv pentru fisierul robots.txt trebuie sa existe URL-uri specifice, pentru ca odata ce sunt specifice, cu atat vor fi mai respectate si mai bine indexate. A nu fi specific este ca si cum ai spune crawlerului sa indexeze „tot acest director imens” constituit de intregul site.

Cazul meta robots este putin diferit – acestia sunt gazduiti in titlurile fiecarei pagini individuale, astfel trebuie creati pentru fiecare pagina in parte. Acest lucru spune motorului de cautare daca va indexa sau nu pagina respectiva si daca ar trebui sa urmareasca mai departe si link-urile catre acea pagina.

Cel din urma este atributul nofollow care poate fi acordat unor linkuri pe care le afisezi in paginile site-ului. Acest atribut nu spune neaparat motoarelor de cautare si crawlerilor sa indexeze sau nu, ci arata faptul ca nu se doreste un transfer de linkjuice si autoritate catre pagina indicata prin linkul respectiv.

Combinand robots.txt, meta robots si atributul nofollow acordat unor linkuri, se ajunge sa se arate robotilor si crawlerilor motoarelor de cautare mult mai bine ceea ce trebuie sa indexeze, site-ul va fi astfel citit mai usor si elementele importante vor fi indexate mai bine.

Roboti si Meta Roboti

Robots

RobotsRobots.txt

Fisierul robots.txt, un produs a protocolului de excludere a robotilor, este un fisier stocat pe directorul radacina a site-ului. Fisierul robots.txt ofera instructiuni la crawlerii automati care iti viziteaza site-ul, incluzand spiderii de cautare.

Folosind robots.txt, detinatorii de site-uri pot indica motoarelor de cautare care zone dintr-un site le-ar place sa previna robotii din a se „furisa”, de asemenea si a indica locatia fisierelor sitemap si paramaterii de amanare a „furisarii”.

Urmatoarele comenzi sunt disponibile

  • Disallow – previne robotii conformi din a accesa anumite pagini sau foldere.
  • Sitemap – indica locatia sitemap-ului unui website sau sitemapurilor.
  • Crawl Delay – Indica viteza in milisecunde, la care un robot poate accesa un server.

Exemplu de fisier Robots.txt

#Robots.txt www.promovare-seo.eu/robots.txt
User-agent: *
Dissalow:

# Nu permite botului spam sa se „furiseze” pe vreo pagina
User-agent: spambot
disallow: /

sitemap: www.promovare-seo.eu/sitemap.xml

Atentie : Nu toti robotii web urmeaza robots.txt. Oamenii cu rele intentii construiesc roboti care nu le urmaresc protocoalele si in cazuri extreme pot sa ii foloseasca pentru a identifica locatia unei informatii private. Pentru acest motiv, este recomanda ca locatia sectiunilor de administratie si alte sectiuni private ale website-urilor accesibile public nu vor fi incluse in robots.txt. In loc de acest lucru, aceste pagini pot utiliza tag-ul meta rbots, pentru a pastra motoarele de cautare majore din indexarea continutului de risc inalt.

Meta robotii

tagul de meta roboti creaza instructiuni pe nivelul paginii pentru robotii motoarelor de cautare. Tagul meta robot ar trebui sa fie inclus in sectiunea de <head> a documentului HTML.

Un exemplu de Meta Roboti

<html>
<head>
<title> Cea mai buna pagina de pe internet </title>     <meta name-„ROBOTS” content-„NOINDEX, NOFOLLOW”>
</head>
<body>
<h1> Buna ziua lume </h1>
</body>
</html>

In exemplul listat mai sus, „NOINDEX, NOFOLLOW” le spune robotilor sa nu includa paginile oferite in indexarile lor, de asemenea nici sa nu urmeze vreun link de pe pagina.

 

Made with ❤️ by eAdvertising | Copyright Promovare SEO2025
Tech Nerd theme designed by Siteturner