A bot vagy keresőrobot olyan számítógépes program, amely a weboldalak feltérképezését végzi. Hivatkozásokat és webhelytérképeket követve, automatizált módon vizsgálja a webhelyeket, hogy információkat gyűjtsön a keresőmotor indexéhez és naprakészen tartsa. Végső soron tehát az ilyen szoftverek gondoskodnak arról, hogy a felhasználók a keresési lekérdezéseikhez legjobban „illő” (legrelevánsabb, legjobb minőségű) találatokat kapják.
Célja
A robotok szinte mindenféle tartalmakhoz, információkhoz hozzáférnek, így látják a szövegeket, linkeket, a HTML-kódok elemeit, a webhelytérképeket. A botok tevékenységét a Robots.txt-ben, vagyis a webszerver gyökérkönyvtárában elhelyezett fájlban megadott szabályokkal lehet irányítani.
A különböző keresőmotorok természetesen különböző (bár nem túl változatos vagy fantáziadús) elnevezésekkel látják el a saját robotjaikat, így például:
- Bing: Bingbot,
- Yahoo!: Bingbot (SlurpBot),
- DuckDuckGo: DuckDuckBot,
- Baidu: Baiduspider,
- Yandex: Yandex Bot,
- Google: GoogleBot
Típusok
A Google robotjának, a GoogleBotnak két különböző típusa létezik. Egy asztali robot (GoogleBot Desktop), amely egy olyan felhasználót szimulál, aki asztali számítógépen szörfölget; és egy mobilrobot (Googlebot Smartphone), amely egy mobilnetezőt. A Google közlése szerint a GoogleBotot úgy tervezték, hogy egy-egy látogatás alkalmával a lehető legtöbb oldalt térképezze fel a szerver sávszélességének túlterhelése nélkül.
Az interneten pásztázó robotok ugyanakkor nem csak jó célokat szolgálhatnak. Léteznek olyan botok is, amelyeket rosszindulatú törekvések, például DDOS-támadások végrehajtására hoztak létre, vagy azért, hogy pl. e-mail-cím elérhetőségeket keressenek.