JspravBot - бот для индексации сайтов

Дата публикации: 26.02.2024 Дата редактирования: 14.07.2026 Автор: Артем Ш

JspravBot - робот, занимающийся индексацией сайтов, добавленных к нам на справочник. Наш бот очень культурный и имеет ряд ограничений:

  • Учитывает robots.txt
  • Делает 1 запрос в секунду к одному IP-адресу
  • Индексирует первые 3000 документов на сайте
  • Индексирует только старницы с глубиной 3 и менее
  • Не умеет индексировать JS-сайты

User-Agent нашего робота: Mozilla/5.0 (compatible; JspravBot/1.0; +http://jsprav.ru/blog/bot/)

 

Часто-задаваемые вопросы

Что будет если сайт мой сайт не проиндексирует робот?

Ваша организация будет ранжироваться хуже, чем другие организации, у которых проиндексировался сайт. Важна не только индексация сайта, но и наличие названия категории на страницах сайта. 

Как добавить сайт на индексацию?

Если ваша организация добавлена на нашем справочнике и у нее есть сайт, он автоматически участвует в индексации. 

Эта статья полезная для Вас?

Артем Ш

Автор статьи

Артем Ш

Разработчик проекта Jsprav.ru

Последние комментарии