Середина 1999 года - поисковые машины (ПМ) начали пытаться использовать логику интернет - серфера. Один из способов анализа сайта - отслеживание кликов пользователей. Даная технология (Direct Hit) вела статистику сайтов: какие посетители выбирают ресурс чаще по определенному ключевому слову, следовательно он поднимался в рейтинге выше. Был создан еще один метод ранжирования, который до сих пор остается основным фактором релевантности сайта - "ссылочная популярность". Этот метод пришел из системы библиотек и архивов, заключается в отслеживании числа сайтов, ссылающихся на определенный ресурс. Оба метода известны как факторы "вне страницы" (off - the - page). Так как не имеют никакого отношения к контенту веб - страницы и свободны от спамерского влияния.

SEO - умельцы нашли выход - создание ссылочных ферм (link farm). Идея такова - если поисковая система учитывает количество ссылок в сети на ресурс, то можно создать страницу со списком ссылок. Когда робот посетит данную страницу, он начнет индексировать все ссылки. Было время, когда ссылочные фермы были очень популярны, создавались различные программы для обмена ссылками между различными "фермами". Но успех прошел, поисковики знают об этом и не учитывают подобные ссылки.

Самой первой поисковой машиной была Yahoo, она была создана первой и до сих пор остается самой популярной. Каталоги Yahoo создаются людьми, редакторы, несмотря на нехватку человеческих ресурсов, стараются достигнуть максимального числа охваченных страниц.

Издаваемые сообществами каталоги впервые появились в 1999 году. Эта система позволяет тысячам редакторов постоянно их обновлять. Первая из таких сетей - каталог NetScape Open, а каталог go.com (уже не работает), стал еще одним лидером. Каталог NetScape Open издается сообществом редакторов и имеет открытый доступ - любой желающий может получить доступ к каталогу, списки из него стали появляться во многих поисковых системах

Данные каталоги имеют количественную и качественную информацию, обеспечивают релевантные результаты поиска.