Продолжаю свои банальные заметки. Посредством правил в .htaccess, robots.txt и fail2ban удалось заметно снизить фактическую нагрузку на систему посредством поражения в правах сервисов, которые не конвертируют своих клиентов в наших посетителей, но… количество запросов значительно снизить не удалось.
Читать далее →

Институциональные репозитории и поисковые роботы исторически образуют симбиотическую связь. Репозитории обеспечивают контент, поисковые сервисы — трафик. Такое положение вещей на протяжении долгого времени было нормой. Всё было просто и понятно. Фактически, многие институциональные репозитории на базе DSpace и некоторых других специализированных CMS обслуживали клиентов, 90% и более которых приходило из поисковых систем.
Операторы репозиториев регистрировали свои сервисы в «инструментах вебмастера» различных поисковых систем, наблюдали за динамкой обхода, ошибками, кликами и показами. Всё было просто и понятно. Индексирующие роботы поисковых систем в целом работали адекватно — нагрузку создавали аккуратно, user-agent не прятали, robots.txt уважали и всё было прозрачно и контролируемо.
Читать далее →