Роботы поисковых систем занимаются тем, чтобы сайты (и ваш в частности) попадал в результаты поиска.

У любой поисковой машины есть минимум три робота, которые занимаются обработкой страниц.
Знакомьтесь: spider, crawler, indexer.

Spider - поисковый паук, который бежит по ссылкам сайта (и жадно урча) тянет копии документов себе в норку.
Crawler - сидит в норке и находит ссылки в страницах, которые ему принес паук.
Indexer - когда весь сайт утащен в нору, индексатор разделяет его на: шаблон, текст, картинки... затем сохраняет в базу данных.
Database - глубоко-глубоко в норе поисковой системы есть база, в которой есть копии сайтов (только отсюда берутся результаты поиска).

Как видите, это довольно просто...

Сам поиск происходит вовсе не "в лоб". Если вы делаете свой поиск на сайте - он работает по принципу прямых индексов (ищет прямо на сайте с высокой точностью). Поисковые системы используют поиск на основе обратных индексов - он менее точен относительно прямых, зато им реально обыскать весь интернет.

Может быть, когда-нибудь, компьютеры станут настолько мощными и дешевыми... что поисковые системы будут работать методами прямых индексов и точность поиска станет гораздо выше. А пока мечта оптимизатора - узнать как там сейчас сделано под капотом.

Я могу бы рассказать про обратные индексы, но... это нифига не интересно. Когда я расписывал установку нативного вебсервера, мне дали понять что думать никто не хочет.

И на десерт...

Если вам хочется своими глазами посмотреть как работают роботы поисковых систем:
скачайте программу wGet
распакуйте в /windows/systetm32/
откройте командную строку и запустите команду

На выхлопе увидите как паук взаимодействовал со страницей _http://ya.ru
Зашел и получил ответ 200_ok.


Спонсор конкурса SEO PowerSuite - бесплатные инструменты для сеошника