Краулеры, спайдеры и роботы - программы, которые управляют поисковыми системами. Они "ползают" по сылкам сети и собирают первичную информацию для индексации. Существует много типов краулеров. Некоторые применяются для индексирования рабочего стола компьютера, другие собирают E - Mail - адреса, различные коммерческие краулеры выполняют исследования сети (измеряют параметры, выявляют шпионские программы и др.)

Самые первые краулеры предназначались для обнаружения новых веб - страниц. Они мало обращали внимание на качество, главная цель была - количество. Это было актуально до тех пор, пока объем сетевой информации был небольшим.

Стремительное развитие сети значительно опередили возможности системы. Данной системой стало невозможно управлять, в связи с этим за последние годы краулеры полностью изменились. Хотя они до сих пор базируются на первых технология, но дейтсвуют индивидуально, имеют собственные разноуровневые системы.

Процесс "ползания" похож на действия обыкновенного серфера. Краулер начинает с одного URL (или набора страниц), извлекает из этой страницы гиперссылки, которые загружает, снова извлекает гиперссылки - загружает, и т. д. Этот процесс продолжается до тех пор, пока краулер не наткнется на страницу без ссылок. В этом случае он поднимается на один уровень вверх и возвращается к пропущенным ссылкам.