Jak nejlépe využít robots.txt pro SEO?
Webmasteři mohou využít tří způsobů, jak vyhledávačům sdělit, kam nemohou chodit. Kromě souboru robots.txt, který je vhodný pro nastavení restrikcí pro celý web najednou, můžete použít meta tag v hlavičce stránky nebo chcete-li informovat vyhledávače, aby nenásledovaly konkrétní odkaz, tak mu přidejte atribut rel=“nofollow“. V tomto článku ale zůstaneme u robots.txt, takže se pojďme tomuto souboru podrobněji podívat na zoubek.