WordPress: Блокирование ботов

С января 2024 года обратил внимание, что в Яндекс-Метрика в статистике резко подскочили посещения сайта. Если присмотреться (открыть Вебвизор), то станет видно, что основная масса таких посещений идёт на главную страницу, при этом идут прямые заходы, а не через поисковые системы. Есть конечно исключения, но основная часть была именно такой. При этом, в Визоре в деталях визита было указано, что посетитель пришёл из подсети Biterika Grupp OOO. Поскольку я с рекламы на сайте едва получаю денег на оплату хостинга, то эти визиты мне подпортили и без того не очень радужную картину по доходу с рекламы. Данный сайт мне нужен не для заработка, а для сохранения какой-то информации, тем не менее я решил найти способ избавится от этой напасти.

Поиск в инете привёл меня к трём решениям (был ещё скрипт за >3000 рублей в месяц, но это не для меня):

Блокировка по IP через файл .htaccess.

Описанный метод самый простой, но наименее эффективный, т.к. пул адресов ботов огромный. Тем не менее, в качестве какой-то защиты можно внести в файл пару-тройку десятков записей.

.htaccess

RewriteEngine On
RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*pfbaza\.website.* [NC]
RewriteRule .* - [R=403,L]

Order Deny,Allow
Deny from 45.134.253.0/24
Deny from 46.8.14.0/23
Deny from 95.182.124.0/24
Deny from 45.142.253.0/24
Deny from 45.84.177.0/24
Deny from 77.83.148.0/24
Deny from 45.86.0.0/23
Deny from 46.8.11.0/24
Deny from 45.81.136.0/24
Deny from 46.8.212.0/23
Deny from 109.248.205.0/24
Deny from 193.58.169.0/24
Deny from 2a0e:cd42::/32
Deny from 188.130.210.0/24
Deny from 109.248.167.0/24
Deny from 45.145.116.0/22
Deny from 46.8.154.0/24
Deny from 194.156.97.0/24
Deny from 45.87.252.0/23
Deny from 95.182.126.0/23
Deny from 46.8.56.0/23
Deny from 2a0f:d004::/32
Deny from 46.8.16.0/23
Deny from 2a0e:cd44::/32
Deny from 2a0f:d000::/29
Deny from 109.248.129.0/24
Deny from 45.89.16.0/22
Deny from 45.140.54.0/23
Deny from 194.34.248.0/24
Deny from 45.139.176.0/23
Deny from 45.134.180.0/22
Deny from 45.139.176.0/24
Deny from 45.89.16.0/23
Deny from 2a0f:d000::/32
Deny from 188.130.187.0/24
Deny from 46.8.10.0/24
Deny from 46.8.22.0/24
Deny from 45.142.252.0/24
Deny from 109.248.55.0/24
Deny from 212.115.49.0/24
Deny from 45.135.33.0/24
Deny from 2a0f:d001::/32
Deny from 188.130.136.0/23
Deny from 188.130.143.0/24
Deny from 45.140.52.0/22
Deny from 188.130.128.0/23
Deny from 46.8.155.0/24
Deny from 95.182.126.0/24
Deny from 45.139.177.0/24
Deny from 46.8.23.0/24
Deny from 45.145.116.0/23
Deny from 45.147.193.0/24
Deny from 109.248.13.0/24
Deny from 109.248.166.0/24
Deny from 45.11.20.0/24
Deny from 188.130.219.0/24
Deny from 188.130.186.0/24
Deny from 2a0b:2d87:8000::/33
Deny from 188.130.221.0/24
Deny from 2a0e:8146::/32
Deny from 194.32.237.0/24
Deny from 109.248.54.0/23
Deny from 109.248.54.0/24
Deny from 46.8.222.0/23
Deny from 109.248.166.0/23
Deny from 188.130.189.0/24
Deny from 109.248.12.0/23
Deny from 109.248.138.0/24
Deny from 2a06:d647::/32
Deny from 2a0a:b387::/33
Deny from 188.130.220.0/23
Deny from 46.8.57.0/24
Deny from 185.181.244.0/23
Deny from 46.8.156.0/23
Deny from 84.54.53.0/24
Deny from 2a0f:d002::/32
Deny from 109.248.15.0/24
Deny from 109.248.14.0/24
Deny from 45.87.253.0/24
Deny from 2a0e:8147::/32
Deny from 194.156.92.0/24
Deny from 2.59.50.0/24
Deny from 46.8.192.0/23
Deny from 109.248.48.0/23
Deny from 185.181.246.0/24
Deny from 45.84.176.0/24
Deny from 2a0e:cd43::/32
Deny from 188.130.210.0/23
Deny from 91.188.244.0/24
Deny from 194.35.113.0/24
Deny from 2a0e:8140::/29
Deny from 109.248.128.0/24
Deny from 92.119.193.0/24
Deny from 45.11.21.0/24
Deny from 188.130.188.0/23
Deny from 2a0e:cd46::/32
Deny from 2a0e:8140::/32
Deny from 45.135.32.0/24
Deny from 188.130.218.0/24
Deny from 188.130.184.0/24
Deny from 188.130.184.0/23
Deny from 46.8.56.0/24
Deny from 185.181.247.0/24
Deny from 188.130.186.0/23
Deny from 109.248.139.0/24
Deny from 188.130.142.0/24
Deny from 46.8.106.0/23
Deny from 2a0a:5684::/32
Deny from 188.130.188.0/24
Deny from 2a0e:8142::/32
Deny from 109.248.142.0/23
Deny from 109.248.143.0/24
Deny from 46.8.111.0/24
Deny from 45.139.125.0/24
Deny from 45.140.52.0/23
Deny from 45.15.236.0/24
Deny from 109.248.14.0/23
Deny from 188.130.218.0/23
Deny from 213.226.101.0/24
Deny from 2a0f:d006::/32
Deny from 46.8.17.0/24
Deny from 188.130.137.0/24
Deny from 46.8.213.0/24
Deny from 45.134.252.0/24
Deny from 77.83.148.0/23
Deny from 45.135.32.0/23
Deny from 95.182.124.0/23
Deny from 31.40.203.0/24
Deny from 46.8.222.0/24
Deny from 45.147.192.0/23
Deny from 77.94.1.0/24
Deny from 193.53.168.0/24
Deny from 46.8.188.0/24
Deny from 45.86.1.0/24
Deny from 2a0f:d007::/32
Deny from 45.15.72.0/24
Deny from 46.8.223.0/24
Deny from 95.182.125.0/24
Deny from 109.248.138.0/23
Deny from 2a0e:cd45::/32
Deny from 46.8.154.0/23
Deny from 45.15.73.0/24
Deny from 109.248.49.0/24
Deny from 45.87.252.0/24
Deny from 176.53.186.0/24
Deny from 46.8.16.0/24
Deny from 194.156.123.0/24
Deny from 45.134.252.0/23
Deny from 2a0b:2d87::/33
Deny from 109.248.204.0/23
Deny from 46.8.107.0/24
Deny from 109.248.128.0/23
Deny from 45.144.36.0/24
Deny from 194.32.229.0/24
Deny from 45.86.0.0/24
Deny from 185.181.246.0/23
Deny from 46.8.156.0/24
Deny from 2a0e:8145::/32
Deny from 185.181.245.0/24
Deny from 188.130.220.0/24
Deny from 188.130.185.0/24
Deny from 2a0e:cd40::/32
Deny from 109.248.12.0/24
Deny from 45.15.236.0/23
Deny from 46.8.157.0/24
Deny from 2a07:ca07::/33
Deny from 2a0a:5687::/32
Deny from 2a0e:cd47::/32
Deny from 194.156.96.0/23
Deny from 2a0a:5680::/29
Deny from 2a0a:b387::/32
Deny from 185.181.244.0/24
Deny from 2a06:d647::/33
Deny from 2a06:d647:8000::/33
Deny from 46.8.110.0/24
Deny from 95.182.127.0/24
Deny from 2a0e:cd40::/29
Deny from 2a0a:b387:8000::/33
Deny from 45.142.252.0/23
Deny from 46.8.10.0/23
Deny from 2a0a:5680::/32
Deny from 188.130.128.0/24
Deny from 109.248.204.0/24
Deny from 45.151.145.0/24
Deny from 77.83.84.0/24
Deny from 45.84.176.0/23
Deny from 193.58.168.0/23
Deny from 45.145.118.0/23
Deny from 46.8.106.0/24
Deny from 46.8.212.0/24
Deny from 109.248.142.0/24
Deny from 188.130.142.0/23
Deny from 46.8.14.0/24
Deny from 188.130.136.0/24
Deny from 46.8.192.0/24
Deny from 109.248.48.0/24
Deny from 45.11.20.0/23
Deny from 2a07:ca07::/32
Deny from 45.90.196.0/24
Deny from 2a0a:5685::/32
Deny from 2a0a:5686::/32
Deny from 2a0e:8144::/32
Deny from 2a0e:8143::/32
Deny from 46.8.15.0/24
Deny from 94.158.190.0/24
Deny from 194.156.96.0/24
Deny from 46.8.193.0/24
Deny from 45.81.137.0/24
Deny from 192.144.31.0/24
Deny from 45.134.180.0/23
Deny from 77.83.149.0/24
Deny from 2a07:ca07:8000::/33
Deny from 2a0f:d003::/32
Deny from 46.8.22.0/23
Deny from 45.15.72.0/23
Deny from 5.183.130.0/24
Deny from 188.130.129.0/24
Deny from 45.147.192.0/24
Deny from 45.15.237.0/24
Deny from 188.130.211.0/24
Deny from 45.81.136.0/23
Deny from 2a0b:2d87::/32
Deny from 2a0e:cd41::/32
Deny from 193.58.168.0/24
Deny from 2a0f:d005::/32
Deny from 2a0e:8141::/32
Deny from 45.134.182.0/23
Allow from all

Использование облачного сервиса Cloudflare.
Поскольку данный метод требует, чтобы сайт был на домене второго уровня, а не третьего, как у меня, то мне этот метод не подошёл.

Для начала небходимо заполнить форму регистрации, после чего выбрать бесплатный тарифный план и вам предложат внести у себя на хостинге новые адреса NS серверов вместо своих. Дальше уже в настройках файрвола Cloudflare нужно перейти в раздел WAF (Web Application Firewall) и внести всего одну запись:
```
(ip.geoip.asnum in {35048})
```
Волноваться за порядочных пользователей не нужно, т.к. они с этих серверов не ходят. Это дешёвый хостинг и, максимум, что там будет — какой-нибудь агрегатор новостей, который не зацепит новость с вашего сайта.

Для меня оставался ещё один способ — это допилить WordPress, чтобы сделать хоть какую-то примитивную защиту от ботов.
Решение нашёл на сайте zsay.ru, источник скрипта здесь. Этот способ я и рассмотрю ниже.

Решение для WordPress

Основные файлы и код брал с того сайта, лишь немного их изменив.

1. В корне сайта создаём папку detect и помещаем туда файл стилей:

/detect/welcome-pt.css

/* Modal */
.welcome-pt-overlay {
  opacity: 0;
  visibility: hidden;
  position: fixed;
  top: 0;
  left: 0;
  right: 0;
  bottom: 0;
  overflow-y: auto;
  -webkit-overflow-scrolling: touch;
  background-color: rgba(0, 0, 0, .5);
  z-index: 8000;
  transition: all 0.3s;
}
.welcome-pt-message {
  opacity: 0;
  visibility: hidden;
  width: 100%;
  max-width: 500px;
  position: fixed;
  top: 50%;
  left: 50%;
  transform: translate(-50%, -50%);
  z-index: 8001;
  box-shadow: 0px 11px 15px -7px rgb(0 0 0 / 20%), 0px 24px 38px 3px rgb(0 0 0 / 14%), 0px 9px 46px 8px rgb(0 0 0 / 12%);
  text-align: center;
  padding: 30px;
  margin: 16px 0;
  border-radius: 4px;
  background-color: #fff;
  box-sizing: border-box;
  transition: all 0.3s;
}
@media (max-width: 532px) {
  .welcome-pt-message {
    width: auto;
    left: 16px;
    right: 16px;
    transform: translate(0, -50%);
  }
}
.is-active.welcome-pt-overlay,
.is-active .welcome-pt-message {
  opacity: 1;
  visibility: visible;
}

/* Custom styles here */
.site-form-title {
  text-align: center;
  margin-bottom: 20px;
  font-size: 36px;
  line-height: 40px;
  font-weight: 300;
  color: #3d424b;
}
@media (max-width: 532px) {
  .site-form-title {
    margin-bottom: 14px;
    font-size: 30px;
    line-height: 36px;
  }
}
.site-form-text {
  font-size: 16px;
  line-height: 20px;
  margin-top: 0;
}
.site-form-buttons {
  display: flex;
  justify-content: center;
  margin-top: 32px;
}
.welcome-pt-close {
  height: 50px;
  line-height: 50px;
  min-width: 180px;
  padding: 0 32px;
  border: none;
  font-size: 16px;
  white-space: nowrap;
  color: #fff;
  cursor: pointer;
  text-decoration: none;
  border-radius: 5px;
  background-color: #0836ff;
  transition: all 0.3s ease 0s;
  display: inline-block;
  margin: 0;
  text-transform: uppercase;
  letter-spacing: 0.02em;
  box-sizing: border-box;
  text-align: center;
  box-shadow: 0px 3px 1px -2px rgb(0 0 0 / 20%), 0px 2px 2px 0px rgb(0 0 0 / 14%), 0px 1px 5px 0px rgb(0 0 0 / 12%);
}
.welcome-pt-close:hover {
  background-color: #0435c9;
}

2. Туда же положим файл-загрузчик скриптов pts.lazyload.js:

/detect/pts.lazyload.js

class ptsLazyLoad {
    constructor(dataLazyLoadingJS, dataSettings) {
        this.dataLazyLoadingJS = dataLazyLoadingJS;
        this.dataSettings = dataSettings;
    }
    lazyLoadingJS(type, area) {
        if (this.dataLazyLoadingJS['data'][type]['status'] === false) {
            this.dataLazyLoadingJS['data'][type]['status'] = true;

            const render = (relEl, tpl) => {
                const range = document.createRange();
                range.selectNode(relEl);
                const child = range.createContextualFragment(tpl);
                return relEl.appendChild(child);
            };
            render(area, this.dataLazyLoadingJS['data'][type]['html']);
        }
    }
    loadAllDataScripts() {
        for (let key in this.dataLazyLoadingJS['data']) {
            this.lazyLoadingJS(key, document.querySelector(this.dataLazyLoadingJS['data']['area']));
        }
    }
    showMessage() {
        let that = this;
        let modal = document.querySelector('.welcome-pt-overlay');
        let closeButton = document.querySelector('.welcome-pt-close');
        modal.classList.add('is-active');
        closeButton.addEventListener('click', function(event) {    
            event.preventDefault();  
            modal.classList.remove('is-active');
            that.cookieSet();
            that.loadAllDataScripts();
            setTimeout(function() {
                modal.style.display = 'none';
            }, 300);
        });
    }
    isSearchSystemBotSigns() {        
        let uaList = [
            'APIs-Google', 'Mediapartners-Google', 'AdsBot-Google-Mobile', 'AdsBot-Google', 'Googlebot', 'AdsBot-Google-Mobile-Apps',
            'YandexBot', 'YandexMobileBot', 'YandexDirectDyn', 'YandexScreenshotBot', 'YandexImages', 'YandexVideo', 'YandexVideoParser',
            'YandexMedia', 'YandexBlogs', 'YandexFavicons', 'YandexWebmaster', 'YandexPagechecker', 'YandexImageResizer', 'YandexAdNet',
            'YandexDirect', 'YaDirectFetcher', 'YandexCalendar', 'YandexSitelinks', 'YandexMetrika', 'YandexNews', 'YandexCatalog',
            'YandexMarket', 'YandexVertis', 'YandexForDomain', 'YandexSpravBot', 'YandexSearchShop', 'YandexMedianaBot', 'YandexOntoDB',
            'YandexOntoDBAPI', 'YandexVerticals', 'Mail.RU_Bot', 'StackRambler', 'Yahoo', 'msnbot', 'bingbot', 'PixelTools', 'PixelBot'
        ];
        let sBrowser = false, sUsrAg = navigator.userAgent;
        for (let i = 0; i < uaList.length; i += 1) {
            if (sUsrAg.indexOf(uaList[i]) > -1) {
                sBrowser = true;
                break;
            }
        }

        return sBrowser;
    }
    cookieCheck() {
        return document.cookie.indexOf(this.dataSettings.cookie_name) > -1;
    }
    cookieSet() {
        const date = new Date();      
        date.setTime(`${date.getTime()}${(365 * 30 * 24 * 60 * 60 * 1000)}`);      
        let expiryDate = `expiryDate=" ${date.toUTCString()}`;      
        document.cookie = `${this.dataSettings.cookie_name}=true; ${expiryDate}; path=/`;
    }
    simpleCheck(need_check) {
        if (+need_check === 1 && !this.cookieCheck() && !this.isSearchSystemBotSigns()) {
            this.showMessage();
        } else {
            this.loadAllDataScripts();
        }
    }
}

Здесь мы заодно проверяем посетителя и, если он «хороший» бот, то пропускаем сразу, если нет, выводится окошко с предупреждением, о том, что ведётся сбор IP-адресов. Кроме этого, скрипты Яндекс-метрики и Гугл-Аналитики загружаются только после нажатия кнопки. Ну и конечно в Яндекс-Метрику передаётся IP-адрес посетителя. Этот адрес берём с помощью нашего же сервера, а не внешнего, так что задержка будет минимальной. Его можно увидеть в дополнительной колонке Веб-Визора «Параметры визита». Для этого нужно нажать на кнопку «Настроить столбцы».

3. В дочерней теме WordPress нам потребуется изменить файл header.php. Здесь мы просто добавим к концу файла следующие строчки:

header.php

  <div class="before-footer-scripts-place"></div>

<div class="welcome-pt-modal">
  <div class="welcome-pt-overlay">
    <div class="site-popup-inner welcome-pt-message">
      <form method="post" enctype="multipart/form-data" action="">
        <div class="site-form-title">Добро пожаловать!</div>
        <div class="site-row">
          <p class="site-form-text">В связи с наплывом ботов приходится собирать IP-адреса каждого посетителя!Если вы с этим не согласны, просто закройте страницу.</p>
        </div>
        <div class="site-form-buttons">
          <div class="site-form-button">
            <a href="#" class="welcome-pt-close">Продолжить</a>
          </div>
        </div>
      </form>
    </div>
  </div>
</div>

<script type="text/javascript">
  var yaParams = {addr: "<? echo $_SERVER['REMOTE_ADDR']; ?>"};
</script>

<script src="/detect/pts.lazyload.js"></script>
<script>
  document.addEventListener('DOMContentLoaded', function() {
    let dataLazyLoadingJS = {
      data: {
        ya_counter: {
          status: false,
          html: '<script type="text/javascript">(function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)}; m[i].l=1*new Date(); for (var j = 0; j < document.scripts.length; j++) {if (document.scripts[j].src === r) { return; }} k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)}) (window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym"); ym(12345678, "init", {params:window.yaParams, clickmap:true, trackLinks:true, accurateTrackBounce:true, webvisor:true }); <\/script> <noscript><div><img src="https://mc.yandex.ru/watch/12345678" style="position:absolute; left:-9999px;" alt="WordPress: Блокирование ботов" /><\/div><\/noscript>',
          area: 'head'
        },
        ga_counter: {
          status: false,
          html: `<script async src="https://www.googletagmanager.com/gtag/js?id=UA-123456789-1"><\/script><script>function getCid(){var match=document.cookie.match('(?:^|;)\\\\s*_ga=([^;]*)');var raw=(match)?decodeURIComponent(match[1]):null;if(raw)match=raw.match(/(\\d+\\.\\d+)$/);var gacid=(match)?match[1]:null;return gacid?gacid:false;}<\/script>`,
          area: 'head'
        }
      }
    };
    let dataSettings = {
      cookie_name: 'PST_VERIFIED_COOKIE',
    };
    let LazyLoad = new ptsLazyLoad(dataLazyLoadingJS, dataSettings);
    LazyLoad.simpleCheck(1);
  });
</script>

Здесь нужно в двух местах заменить 12345678 на номер вашего счётчика, для Гугла заменить ID UA-123456789-1 на свой.

4. Подключение стилей для окошка делается в начале файла header.php, прямо ПЕРЕД закрывающимся тэгом </head>:

header.php

<link rel="stylesheet" href="/detect/welcome-pt.css">

Если что-то забыл, напишите в комментариях, дополню.

В одной из следующих заметок я описал практически 100% способ защиты от поведенческих ботов с помощью Яндекс-капчи (Smart-capcha).

Об авторе
Недавние публикации

DenTNT

Задать вопрос в Telegram:
@dentnt.trmw.ru
Помочь проекту: Яндекс.Деньги

DenTNT недавно публиковал (посмотреть все)

VSCode: Сменить язык интерфейса - 03.05.2024
C#: Отобразить Unicode символ - 25.04.2024
UWP: Visual Studio requires a newer version of Windows to display this content - 10.04.2024

DenTNT.trmw.ru

Записная книжка

WordPress: Блокирование ботов

Решение для WordPress