Roboti si Meta Roboti

Robots

RobotsRobots.txt

Fisierul robots.txt, un produs a protocolului de excludere a robotilor, este un fisier stocat pe directorul radacina a site-ului. Fisierul robots.txt ofera instructiuni la crawlerii automati care iti viziteaza site-ul, incluzand spiderii de cautare.

Folosind robots.txt, detinatorii de site-uri pot indica motoarelor de cautare care zone dintr-un site le-ar place sa previna robotii din a se „furisa”, de asemenea si a indica locatia fisierelor sitemap si paramaterii de amanare a „furisarii”.

Urmatoarele comenzi sunt disponibile

  • Disallow – previne robotii conformi din a accesa anumite pagini sau foldere.
  • Sitemap – indica locatia sitemap-ului unui website sau sitemapurilor.
  • Crawl Delay – Indica viteza in milisecunde, la care un robot poate accesa un server.

Exemplu de fisier Robots.txt

#Robots.txt www.promovare-seo.eu/robots.txt
User-agent: *
Dissalow:

# Nu permite botului spam sa se „furiseze” pe vreo pagina
User-agent: spambot
disallow: /

sitemap: www.promovare-seo.eu/sitemap.xml

Atentie : Nu toti robotii web urmeaza robots.txt. Oamenii cu rele intentii construiesc roboti care nu le urmaresc protocoalele si in cazuri extreme pot sa ii foloseasca pentru a identifica locatia unei informatii private. Pentru acest motiv, este recomanda ca locatia sectiunilor de administratie si alte sectiuni private ale website-urilor accesibile public nu vor fi incluse in robots.txt. In loc de acest lucru, aceste pagini pot utiliza tag-ul meta rbots, pentru a pastra motoarele de cautare majore din indexarea continutului de risc inalt.

Meta robotii

tagul de meta roboti creaza instructiuni pe nivelul paginii pentru robotii motoarelor de cautare. Tagul meta robot ar trebui sa fie inclus in sectiunea de <head> a documentului HTML.

Un exemplu de Meta Roboti

<html>
<head>
<title> Cea mai buna pagina de pe internet </title>     <meta name-„ROBOTS” content-„NOINDEX, NOFOLLOW”>
</head>
<body>
<h1> Buna ziua lume </h1>
</body>
</html>

In exemplul listat mai sus, „NOINDEX, NOFOLLOW” le spune robotilor sa nu includa paginile oferite in indexarile lor, de asemenea nici sa nu urmeze vreun link de pe pagina.

 

Made with ❤️ by eAdvertising | Copyright Promovare SEO2024
Tech Nerd theme designed by Siteturner