Поисковые машины (ПМ)имеют целую армию краулеров, которые выполняют масштабную работу. Для исследования сети они используют традиционные алгоритмы.

Граф сети включает "узлы" и "края" (nodes and edes). "Узлы" - это URL, "края" - ссылки, вложенные в страницы (на другие сайты, а также на страницы Вашего сайта). Граф сети математически представлен на основе алгоритмов, в них определено пересечение: "начальной широты" или "начальной глубины".

Поиск из "начальной широты" означает, что краулер восстанавливает все страницы вокруг отправной точки ползания прежде ссылок, ведущих еще дальше от начала. Это самый общий путь, по которому спайдеры следуют за ссылками. Данный метод уменьшает нагрузку на сервера.

Поиск из "начальной глубины" обеспечивает следование по всем ссылкам, начиная с первой ссылки на первой странице, затем первой ссылки второй страницы и т. д. Как только первая ссылка каждой страницы будет загружена, краулер принимается за вторую, затем за третью и каждую последующую. Данный метод программируется легче, но приводит к добавлению менее важной информации и следовательно, отсутствию актуальной информации поиска.

Как глубоко краулер проникает в сайт? Все зависит от содержания сайта, какие страницы поисковая машина(ПМ) имеет в своей базе. Как правило, логика спайдера проста - более важная информация находится в начале страницы. ПМ отдают предпочтение более коротким адресам на каждом сервере, думая, что сайт с коротким названием имеет более общую и полезную информацию. Спайдеры также могут быть ограничены определенным количеством подразделов (слешей в URL - адресе). Максимальная глубина - 10 слешей, средняя глубина - 3 слеша. Важные страницы, находящиеся глубоко на сайте, владельцу рекомендуется регистрировать напрямую в поисковой машине.