Вначале рассмотрим, как устроены поисковые машины. Очень важно понять, как происходит поиск, по какому принципу ПМ выводит результаты поиска. Зная это, Вы сможете делать оптимизированные веб - страницы, которые будут занесены в базу поисковой машины.

Программные компоненты поисковой системы:

1. Паук (Spider) - программный продукт, который скачивает веб - страницу, действует по тому же принципу, по которому работает браузер (программа просмотра веб - сайтов). Аналогичное действие (скачивание информации) наблюдается когда Вы просматриваете HTML - код страницы (выбираете функцию "просмотр HTML - кода").

2. Краулер (Crawler) - данная программа находит ссылки на странице, выделяя их, на основании этой информации определяет куда дальше двигаться пауку. Переходя по найденным ссылкам, краулер обнаруживает новые документы, которые еще не известны поисковой машине.

3. Индексатор (indexer) - делит страницу на части, анализируя их, вычленяя при этом отдельные элементы (текст, его структурные элементы, ссылки, элементы BOLD, заголовки страниц, заголовки в тексте и др.). Данные элементы анализируются отдельно.

4. База данных (DataBase) - хранилище данных, которые система скачивает и анализирует.

5. Система выдачи результатов (Search engine, Results engine) - программа, извлекающая из базы данных результат поиска.