Институциональные репозитории и поисковые роботы исторически образуют симбиотическую связь. Репозитории обеспечивают контент, поисковые сервисы — трафик. Такое положение вещей на протяжении долгого времени было нормой. Всё было просто и понятно. Фактически, многие институциональные репозитории на базе DSpace и некоторых других специализированных CMS обслуживали клиентов, 90% и более которых приходило из поисковых систем.
Операторы репозиториев регистрировали свои сервисы в «инструментах вебмастера» различных поисковых систем, наблюдали за динамкой обхода, ошибками, кликами и показами. Всё было просто и понятно. Индексирующие роботы поисковых систем в целом работали адекватно — нагрузку создавали аккуратно, user-agent не прятали, robots.txt уважали и всё было прозрачно и контролируемо.
Читать далее →