JspravBot - робот, занимающийся индексацией сайтов, добавленных к нам на справочник. Наш бот очень культурный и имеет ряд ограничений:
- Учитывает robots.txt
- Делает 1 запрос в секунду к одному IP-адресу
- Индексирует первые 3000 документов на сайте
- Индексирует только старницы с глубиной 3 и менее
- Не умеет индексировать JS-сайты
User-Agent нашего робота: Mozilla/5.0 (compatible; JspravBot/1.0; +http://jsprav.ru/blog/bot/)
Часто-задаваемые вопросы
Что будет если сайт мой сайт не проиндексирует робот?
Ваша организация будет ранжироваться хуже, чем другие организации, у которых проиндексировался сайт. Важна не только индексация сайта, но и наличие названия категории на страницах сайта.
Как добавить сайт на индексацию?
Если ваша организация добавлена на нашем справочнике и у нее есть сайт, он автоматически участвует в индексации.
Эта статья полезная для Вас?
