Индексацией веб-сайтов занимаются специальные программы – поисковые роботы, которые перемещаются по сети, переходя по ссылкам с сайта на сайт. Занести веб-страницу в базу поисковой системы можно и вручную – для этого в поисковых системах существуют соотствующие сервисы. Например, занести веб-страницу в базу Яндекса можно по адресу:
http://webmaster.yandex.ru
Это может привести к более быстрой индексации Вашего сайта. Правда, разработчики поисковых систем, как правило, указывают, что такой сервис является лишь «приглашением» поисковому роботу посетить данную веб-страницу, без каких бы то ни было гарантий.
Если веб-страница проиндексирована той или иной поисковой системой – это значит, что она появится в результатах поиска и станет доступна пользователям этой поисковой системы. И, наоборот, отсутствие веб-страницы в индексе означает невозможность попасть на нее из данной поисковой системы.
Индексация сайта - не однократный, а периодический процесс. Поскольку Internet – динамично изменяющаяся среда, поисковые системы регулярно обновляют информацию в своих базах данных. Поэтому поисковый робот, проиндексировав веб-страницу, через некоторое время вернется снова. Частота посещения поисковым роботом веб-сайта зависит как от особенностей поисковой системы, так и от характеристик сайта. В частности, считается, что чем чаще обновляется информация на сайте, изменяется его контент – тем чаще поисковые роботы будут посещать его соответственно тем быстрее свежая информация, размещенная на страницах сайта, станет доступной Пользователям.
Существуют и сервисы, позволяющие проверить, какие из страниц Вашего веб-сайта проиндексированы той или иной поисковой системой. Например, проверить индексацию сайта Яндексом можно здесь:
http://webmaster.yandex.ru/check.xml
Иногда проверка дает печальные результаты – может выясниться, что в базу поисковой системы попала только небольшая часть страниц сайта, либо сайт вообще отсутствует в индексе…
Отсутствие индексации веб-страницы может быть вызвано различными причинами:
- веб-страница появилась недавно, и поисковые роботы просто еще не добрались до нее;
- на данную веб-страницу нет ссылок с других страниц сайта;
- данный веб-сайт наказан поисковой системой за нарушение правил (так называемый «бан» - удаление сайта из индекса);
- сам владелец сайта запретил поисковым роботам индексировать данную веб-страницу и т.п.
Существуют ошибки, ухудшающие индексацию веб-сайта поисковыми системами. Такие ошибки могут как препятствовать индексации, так и наоборот, приводить к засорению базы поисковой системы многочисленными дублями одной и той же веб-страницы.
В частности, если у страниц веб-сайта есть «Версии для печати», то их рекомендуется запрещать для индексации – иначе у каждой страницы сайта в базе поисковой системы появится, по крайней мере, один дубль.