!NB. Здесь и далее я считаю что читатель знает что такое cat, grep, wc и еще пара команд, но больше особо ничего не знает.
Проблемы, описанные в этом посте никуда не делись. Более того, в середине 2026 года количество строчек в access.log с юзерагентом Googlebot и Bytespider может быть таким:
tomcat@elar:~# cat /var/log/apache2/access.log | grep Googlebot | wc -l
210373
tomcat@elar:~# cat /var/log/apache2/access.log | grep -E '(Bytedance|Bytespider)' | wc -l
910265
210373
tomcat@elar:~# cat /var/log/apache2/access.log | grep -E '(Bytedance|Bytespider)' | wc -l
910265