Cum faci crawlerii si robotii motoarelor de cautare sa iti indexeze mai bine site-ul

crawler

Cand trebuie sa permiti sau sa interzici accesul motoarelor de cautare la fisierul robots.txt, sau cand trebuie folosite tagurile meta robots in titlul unei pagini? Care este situatia cu link-urile de tip nofollow?

Robotii si crawlerii de la Google si de la alte motoare de cautare pot fi controlati spre o indexare mai buna prin cateva modalitati. Una dintre acestea este reprezentata de activarea fisierului robots.txt. Acest fisier spune robotilor si crawlerilor ce sa acceseze si ce sa nu acceseze. Nu de fiecare data acest lucru este respectat insa de Google sau Bing. Poti primi din partea altora sfatul de a nu permite accesul la fisierul robots.txt, insa adesea motoarele de cautare considera ca stiu mai bine. Accesand site-ul considera ca ai facut o greseala dezactivand fisierul si observa ca exista numeroase link-uri catre un anume continut, ca acesta prezinta interes, si il indexeaza astfel. Din acest motiv pentru fisierul robots.txt trebuie sa existe URL-uri specifice, pentru ca odata ce sunt specifice, cu atat vor fi mai respectate si mai bine indexate. A nu fi specific este ca si cum ai spune crawlerului sa indexeze “tot acest director imens” constituit de intregul site. Citeste in continuare

Roboti si Meta Roboti

Robots

RobotsRobots.txt

Fisierul robots.txt, un produs a protocolului de excludere a robotilor, este un fisier stocat pe directorul radacina a site-ului. Fisierul robots.txt ofera instructiuni la crawlerii automati care iti viziteaza site-ul, incluzand spiderii de cautare.

Folosind robots.txt, detinatorii de site-uri pot indica motoarelor de cautare care zone dintr-un site le-ar place sa previna robotii din a se “furisa”, de asemenea si a indica locatia fisierelor sitemap si paramaterii de amanare a “furisarii”. Citeste in continuare