27.05.2014

После запуска государственного поисковика Спутник, первый вопрос, который волнует любого вебмастера — как добавить свой сайт в новую поисковую систему, и как потом контролировать его индексацию и представление на странице выдачи.

Директор по продуктам Спутника Михаил Козлов сообщил, что вскоре форма для добавления сайта появится в разделе для вебмастеров, а пока о том, что вебмастер хочет добавить свой сайт в индекс, нужно писать через форму обратной связи, категория «Технические вопросы».

Технические моменты индексации сайтов

Поисковый робот Спутника SputnikBot ежедневно обходит сайты русского сегмента интернета. Все запросы поискового робота приходят из подсети 109.207.13.0/24. Заголовок User-Agent, посылаемый роботом, выглядит следующим образом: Mozilla/5.0 (compatible; SputnikBot/2.3). Номер версии бота, в данном случае 2.3, со временем будет увеличиваться.

SputnikBot поддерживает директиву Crawl-delay, при помощи которой в файле robots.txt можно управлять скоростью обхода страниц сайта.

Чтобы избежать чрезмерной нагрузки на сайты, поисковый робот SputnikBot при загрузке страниц придерживается следующих правил:

Если у сайта имеется несколько поддоменов, одновременная загрузка страниц может производиться не более чем с четырёх поддоменов;

• Страницы с каждого поддомена загружаются последовательно;
• Минимальная задержка по умолчанию между двумя последовательными запросами к поддомену составляет 2 секунды.
• Новый поисковик пока не претендует на высокое качество выдачи. Как сообщается в разделе для вебмастеров: «Общее качество поисковой выдачи обеспечивается поисковыми алгоритмами, обучающую базу для которых формирует служба асессоров. Данные, полученные в ходе beta-тестирования и эксплуатации системы в открытом доступе, со временем позволят улучшить алгоритмы ранжирования и качество работы системы».

В пресс-службе российской национальной поисковой системы «Спутник», сообщили, что проект в ближайшие дни станет доступен за пределами Российской Федерации.