Cand trebuie sa permiti sau sa interzici accesul motoarelor de cautare la fisierul robots.txt, sau cand trebuie folosite tagurile meta robots in titlul unei pagini? Care este situatia cu link-urile de tip nofollow?
Robotii si crawlerii de la Google si de la alte motoare de cautare pot fi controlati spre o indexare mai buna prin cateva modalitati. Una dintre acestea este reprezentata de activarea fisierului robots.txt. Acest fisier spune robotilor si crawlerilor ce sa acceseze si ce sa nu acceseze. Nu de fiecare data acest lucru este respectat insa de Google sau Bing. Poti primi din partea altora sfatul de a nu permite accesul la fisierul robots.txt, insa adesea motoarele de cautare considera ca stiu mai bine. Accesand site-ul considera ca ai facut o greseala dezactivand fisierul si observa ca exista numeroase link-uri catre un anume continut, ca acesta prezinta interes, si il indexeaza astfel. Din acest motiv pentru fisierul robots.txt trebuie sa existe URL-uri specifice, pentru ca odata ce sunt specifice, cu atat vor fi mai respectate si mai bine indexate. A nu fi specific este ca si cum ai spune crawlerului sa indexeze „tot acest director imens” constituit de intregul site.
Cazul meta robots este putin diferit – acestia sunt gazduiti in titlurile fiecarei pagini individuale, astfel trebuie creati pentru fiecare pagina in parte. Acest lucru spune motorului de cautare daca va indexa sau nu pagina respectiva si daca ar trebui sa urmareasca mai departe si link-urile catre acea pagina.
Cel din urma este atributul nofollow care poate fi acordat unor linkuri pe care le afisezi in paginile site-ului. Acest atribut nu spune neaparat motoarelor de cautare si crawlerilor sa indexeze sau nu, ci arata faptul ca nu se doreste un transfer de linkjuice si autoritate catre pagina indicata prin linkul respectiv.
Combinand robots.txt, meta robots si atributul nofollow acordat unor linkuri, se ajunge sa se arate robotilor si crawlerilor motoarelor de cautare mult mai bine ceea ce trebuie sa indexeze, site-ul va fi astfel citit mai usor si elementele importante vor fi indexate mai bine.