Сначала следует убедиться в том, что HTML - код написан без ошибок и выполнен в хорошем стиле. Некачественный код затрудняет краулинг сайта. Удостоверьтесь, что все открытые теги закрыты, нет пустых тегов и отсутствует исходный код.

Помните, спайдеры, это компьютерные программы, в которых заложен ряд правил и ограничений. Существует основное правило, чем проще и легче написан HTML - код, тем больше у страницы шансов на успех. Обратите внимание на мой сайт: Букварь программиста. Основы программирования, он выполнен с использованием примитивных технологий, но несмотря на молодой возраст уже имеет свою аудиторию и приносит мне небольшой доход.

Самое главное, не используйте следующие виды тегов:
1. Устаревшие, которые составляются под определенные браузеры (программы просмотра веб - страниц - Internet Explorer, Mozila firefox, Opera и другие).
2. Новые теги, которые не знают многие спайдеры (в основном XML-теги).

Проверить HTML - код можно в специальных сервисах, например Validator, который сканирует код и анализирует в соответствии с рекомендациями Wide Web Consortium (W3C). Если в результате никаких ошибок не обнаружено, можно Вас поздравить и процесс краулинга пройдет без проблем. Но не надейтесь, что это поднимет Вас в рейтинге, для того чтобы "подняться" придется приложить немало усилий.

Обращаю Ваше внимание, что работа валидатора упрощается, если страница имеет тег < DOCTYPE >, который объявляет какую версию HTML Вы используете. Данный тег располагается сверху в самой первой строке страницы. Такие веб - страницы значительно легче распознаются браузерами и спайдерами. Выглядит следующим образом:

< ! DOCTYPE HTML SYSTEM>

Примечание: При записи тега пробелы убираются!