Webový prohledávač je robot, který se pohybuje webovými stránkami a indexuje jejich obsah, aby jej uživatelé mohli najít při následných vyhledáváních. Nejvýznamnější roboty obsluhují hlavní vyhledávače. Google má několik robotů na procházení webu; mezi další patří bot Yahoo a bot čínské technologické společnosti Baidu. Prohledávač webu prochází webové stránky primárně pomocí externích i interních odkazů. Webové prohledávače se také nazývají pavouci.
Pokud vlastník webové domény chce, aby byla jeho stránka nalezena ve vyhledávání, musí povolit procházení webu. Vyhledávače budou prezentovat pouze webové stránky, které objevily procházením. Když se webový prohledávač pohybuje po stránce, indexuje nebo zaznamenává všechny relevantní informace na stránce (často jakékoli informace na stránce), aby mohl tyto stránky vytáhnout, když uživatel zadá dotaz vyhledávacího stroje. Ne celý internet je indexován; vědci si nejsou jisti, kolik. Webové prohledávače však mohou přistupovat pouze k veřejným webovým stránkám; soukromé stránky nemohou. Web může také přidat do souboru HTML příponu robots.txt pro stránky, které by robot neměl procházet, nebo v samotném kódu HTML použít značky „noindex“.
Prohledávače webu a SEO
Prohledávače webu vyhledávají obsah pro vyhledávače; to, co shromažďují z webové stránky, ovlivňuje hodnocení optimalizace pro vyhledávače této stránky. Pokud má stránka při indexování mnoho klíčových slov a relevantních odkazů, zobrazí se ve vyhledávači výrazněji. Mít klíčová slova na důležitých místech, jako jsou nadpisy a metadata, také dává webové stránce lepší viditelnost SEO. Webové prohledávače nejen věnují pozornost prostému textu na webové stránce, ale také studují metadata a způsob, jakým uživatelé na stránku reagují, takže je důležité, aby si web vybral přesná metadata, aby se ve vyhledávači zobrazovaly přesněji - a mít obsah, který odpovídá na relevantní vyhledávací dotazy.
Prohledávací roboti se také používají ke škodlivým účelům, jako je šíření falešného obsahu nebo získávání informací o uživateli, a také se používají k měření a ovlivňování názoru.