Robot internetowy, nazywany też w skrócie botem (z j. ang: robot, bot, crawler) a czasem pająkiem (z j. ang: spider) to program (skrypt), który przegląda internet i odwiedza strony internetowe (odwiedzając ich adresy URL). Głównym zadaniem robota internetowego jest zbieranie informacji i indeksowanie treści stron internetowych (z j. ang: spidering).
Tak zebrane i przetworzone dane tworzą tzw. indeks wyszukiwarki. Z tego indeksu internauta wpisując w np. wyszukiwarkę Google czy Yahoo zapytanie „kwiaty” dostaję listę odpowiedzi – adresów URL stron wraz z krótkimi opisami.
Dlaczego roboty internetowe są takie ważne? Po pierwsze – jeśli bot wyszukiwarki (np. googlebot – robot wyszukiwarki Google) nigdy nie trafił na stronę WWW, lub trafił ale jej nie zindeksował, to strona taka nie będzie pojawiać się w wynikach wyszukiwania. Nie będzie istnieć w indeksie wyszukiwarki. Po drugie – jeśli robot już odkryje stronę WWW, to będzie ją odwiedzał co jakiś czas, sprawdzając aktualizację strony i uzupełniając indeks wyszukiwarki o nowe treści.
Istnieje wiele sposobów na zwrócenie uwagi robotów i ich przyciągnięcie – budowa serwisu, zgłaszanie stron do wyszukiwarek, linkowanie do strony, wykorzystanie narzędzi dla webmasterów itp.
Z robotami trzeba żyć w przyjacielskich stosunkach, warto ułatwiać im „życie”, gdyż dzięki temu informacje o stronie będą zawarte w bazie danych wyszukiwarki i możliwe będzie odnalezienie jej przez wyszukiwarkę. A o to nam przecież często właśnie chodzi.
