Индексация сайта

Процесс занесения информации о страницах веб-сайта в базу данных поисковой системы (так называемый «индекс»). Индексации подвергается прежде всего текст, находящийся на веб-страницах сайта, который при этом особым образом обрабатывается - например, очищается от элементов верстки, ненужных html-тегов.

Индексацией веб-сайтов занимаются специальные программы – поисковые роботы, которые перемещаются по сети, переходя по ссылкам с сайта на сайт. Занести веб-страницу в базу поисковой системы можно и вручную – для этого в поисковых системах существуют соотствующие сервисы. Например, занести веб-страницу в базу Яндекса можно по адресу:

http://webmaster.yandex.ru

Это может привести к более быстрой индексации Вашего сайта. Правда, разработчики поисковых систем, как правило, указывают, что такой сервис является лишь «приглашением» поисковому роботу посетить данную веб-страницу, без каких бы то ни было гарантий.

Если веб-страница проиндексирована той или иной поисковой системой – это значит, что она появится в результатах поиска и станет доступна пользователям этой поисковой системы. И, наоборот, отсутствие веб-страницы в индексе означает невозможность попасть на нее из данной поисковой системы.

Индексация сайта - не однократный, а периодический процесс. Поскольку Internet – динамично изменяющаяся среда, поисковые системы регулярно обновляют информацию в своих базах данных. Поэтому поисковый робот, проиндексировав веб-страницу, через некоторое время вернется снова. Частота посещения поисковым роботом веб-сайта зависит как от особенностей поисковой системы, так и от характеристик сайта. В частности, считается, что чем чаще обновляется информация на сайте, изменяется его контент – тем чаще поисковые роботы будут посещать его соответственно тем быстрее свежая информация, размещенная на страницах сайта, станет доступной Пользователям.

Существуют и сервисы, позволяющие проверить, какие из страниц Вашего веб-сайта проиндексированы той или иной поисковой системой. Например, проверить индексацию сайта Яндексом можно здесь:

http://webmaster.yandex.ru/check.xml

Иногда проверка дает печальные результаты – может выясниться, что в базу поисковой системы попала только небольшая часть страниц сайта, либо сайт вообще отсутствует в индексе…

Отсутствие индексации веб-страницы может быть вызвано различными причинами:

• веб-страница появилась недавно, и поисковые роботы просто еще не добрались до нее;
  
  
• на данную веб-страницу нет ссылок с других страниц сайта;
  
  
• данный веб-сайт наказан поисковой системой за нарушение правил (так называемый «бан» - удаление сайта из индекса);
  
  
• сам владелец сайта запретил поисковым роботам индексировать данную веб-страницу и т.п.

Пояснение: существуют технические средства, позволяющие управлять поведением поисковых роботов на сайте, в частности указывать страницы и разделы, посещение которых роботами запрещено. В частности, этой цели служит специальный файл robots.txt, создаваемый в корневом каталоге веб-сайта. С помощью специальных команд, находящихся в этом файле, владелец сайта может запрещать роботам посещение служебных разделов сайта или малоинформативных вспомогательных страниц.

Существуют ошибки, ухудшающие индексацию веб-сайта поисковыми системами. Такие ошибки могут как препятствовать индексации, так и наоборот, приводить к засорению базы поисковой системы многочисленными дублями одной и той же веб-страницы.

В частности, если у страниц веб-сайта есть «Версии для печати», то их рекомендуется запрещать для индексации – иначе у каждой страницы сайта в базе поисковой системы появится, по крайней мере, один дубль.