Прежде чем создавать свой сайт нужно осознать несколько важных моментов о работе поисковых систем.

Поисковая машина (в дальнейшем ПМ) оценивает качество посещаемости Вашего ресурса. Логика ПМ проста - любая поисковая система зарабатывает на контентной рекламе, то есть показ различных (оплаченных заказчиком, естественно) рекламных объявлений. чем больше посетителей у данной поисковой системы, тем больше денег она получит. Поэтому, любая ПМ заинтересована в наполнении своих баз данных качественными и полезными ресурсами. Наиболее информативный сайт, с точки зрения поисковой машины, занимает лидирующие позиции в результатах поиска.

Следующее что нужно знать - ПМ - это всего лишь компьютерные программы, их процесс работы состоит в том, что сначала спайдеры загружают веб - страницы, анализируют их и на основании полученных выводов решают как поступить с данным сайтом. Весь этот сложный процесс называется краулингом

Любой компьютерный пользователь знает, что системы ни в коем случае нельзя перенапрягать, она начинает ругаться, виснет и в конце концах выходит из строя. То же самое происходит и со спайдером поисковой системы. Если веб - страница имеет запутанное место обитания, либо некачественную навигацию (ссылки перехода со страницы на страницу), то она будет скоерй всего проигнорирована спайдером. Даже если такой сайт пройдет индексацию, подобные страницы будут редко появляться в результатах поиска, что доставит владельцу много неприятностей.

Вывод: главная задача веб - мастера обеспечить поисковой системе эффективный краулинг.