- Что значит бот в интернет-сленге?
- Кто придумал термин
- Боты — это люди, машины или программы
- Примеры и выводы
- Атака Ботов В Инстаграм: Как Ее Выявить И Остановить
- ❓Давайте рассмотрим поэтапно, что делать, если вас атакуют боты:
- 2️⃣Понять кто и почему «льет» вам ботов
- 3️⃣Что делать, если на вас летят коршуны?
- ❓Чем опасны такие накрутки?
- ❓Что может произойти, если атака ботов не прекратится?
- Как я боролась с ботами и отрицательной накруткой поведенческих факторов
- Как выявить ботов
- Зачем нужны боты
- Чем вредны боты
- Что можно сделать?
- Что точно не помогает
- Банить пользователей из социальных сетей
- Банить прямые заходы
- Банить переходы с http
- Как технически это реализовать
- Как я фиксировала результаты
- Сторонние сервисы фильтрации ботов
- Попробовать извлечь выгоду из того, что не в силах победить
- Неучтенные риски
Что значит бот в интернет-сленге?
Слово «бот» в интернет-сленге сродни ругательству: так могут назвать собеседника, который чересчур активно доказывает свою точку зрения. Такие пользователи назойливы, упрямы, а иногда – нелогичны. Их поведение объясняется просто: бот — это компьютерная программа, имитирующая общение с реальным человеком.
Кто придумал термин
Слово бот — сокращенная версия термина робот, придуманного чешским фантастом Карелом Чапеком. В его пьесе “Р.У.Р” (1920) фигурировали “искусственные рабочие” — машины, выполняющие рутинные операции вместо человека. Брат писателя, Йозеф Чапек, предложил использовать слово robot как измененное labor (работник).
Боты — это люди, машины или программы
У ботов нет физической оболочки: они существуют только внутри приложения или социальной сети. Это мини-программы, которые активно общаются, генерируя до 60% всего интернет-трафика.
Они выполняют простые рутинные задачи:
- оставляют комментарии в социальных сетях;
- оформляют заказы в интернет-магазинах;
- переводят простые тексты;
- находят нужную информацию в поисковой системе.
Боты могут приносить не только пользу, но и вред. Их часто используют мошенники на сайтах знакомств или популярных ресурсах. Собеседник сначала входит в доверие к пользователю, а затем приглашает его в онлайн-чат или на сайт с веб-камерой.
Цель ботов-мошенников – вводить в заблуждение
Чтобы контролировать активность ботов, сисадмин (или другой пользователь, ответственный за работу сервиса) прописывает ряд ограничений в файле robots.txt. Он может блокировать их и вручную, по заявкам от других пользователей.
Боты в Вк — это еще и страницы в социальной сети, наполненные заведомо лживой информацией. Они создаются с целью активно рассылать спам, накручивать подписчиков, лайки и репосты.
Говоря о том, что же такое бот, стоит упомянуть и живых людей, оставляющих пропагандистские комментарии в соцсетях. Боты-люди часто встречаются в пабликах, посвященных политике, что привело к появлению нового термина — кремлебот.
Примеры и выводы
Чтобы понять, кто такие эти многоликие боты, достаточно взглянуть на примеры. Один из самых известных представителей семейства — офисный помощник для ОС Windows Скрепыш (версии с ’97 по 2003). Он появлялся при первом запуске программы, давал полезные советы, при этом порядком надоедая и замедляя работу системы.
Чат-бот pBot имитирует живой разговор
Современные боты более сложны и даже могут поддерживать связную беседу. Но полностью заменить человека они неспособны. Если же когда-либо случится восстание машин, его идейными вдохновителями станут именно боты.
Источник
Атака Ботов В Инстаграм: Как Ее Выявить И Остановить
Привет, на связи Игорь Зуевич ✋В сегодняшней статье я хочу рассказать о том, что такое атака ботов в Инстаграм и как с этим явлением эффективно бороться.
⚡️Читатели нередко рассказывают мне, как в их профиль за несколько минут буквально сыпятся тысячи подписчиков. Люди не знают, что с этим делать, какие действия предпринять, чтобы оградить свой аккаунт.
❓Давайте рассмотрим поэтапно, что делать, если вас атакуют боты:
1️⃣Определить, действительно ли на вас «напали боты»
✅Для этого важно четко понимать, что такое боты. Бот — это аккаунт, который не принадлежит человеку. Такие профили создают специально, чтобы запускать массовые накрутки.
Но может быть и так, что подписанные на вас аккаунты — это реальные люди из разных стран, и у многих открытые страницы, причем даже очень колоритные. Если вы решите пообщаться с подписчиками, то удивитесь: большинство из них не будут знать, почему подписались на вас. В результате атаки у вас могут появиться друзья по всему миру❤️
⚡️ Как определить, что вас атакуют боты:
✔️следите за теми, кто подписывается на ваш профиль, оставляет лайки, комментирует публикации;
✔️если вдруг один за другим приходят закрытые профили, или в них нет контента, шапки и фото, то это, скорее всего, боты. Конечно, обычные люди иногда создают такие аккаунты, чтобы следить за другими пользователями. Но именно массовая подписка отличает ботов;
✔️профили заполнены, но у них не ваша целевая аудитория. Это значит, что кто-то специально заказал акцию против вас.
⚡️У ботов обычно непонятное имя, представляющее собой странный набор символов. Есть боты, которые стоят дорого. Они похожи на аккаунты настоящих пользователей, с фотографией, понятным именем, аватаром, описанием и контентом. Но те, кто занимается накруткой, скорее всего не будут тратить лишние деньги на таких ботов.
⚡️У ботов бывает не одна тысяча подписчиков при пустом аккаунте. Это, конечно же, вызывает подозрения. Или, наоборот, тысячи подписок. Обычные люди не подписываются на такое количество пользователей. А если и подпишутся, то не будут успевать следить за всеми.
2️⃣Понять кто и почему «льет» вам ботов
✅Причин этому много, давайте рассмотрим все возможные:
✔️конкуренты или хейтеры, которым вы мешаете или просто не нравитесь, хотят навредить вам и вашему бизнесу;
✔️атаку устроили шантажисты и вымогатели. Сначала они накручивают ботов, а потом предлагают за определенную сумму, например, 5000 рублей, это прекратить;
✔️хотят украсть ваш логин. Эти люди устраивают атаку в надежде, что вы смените логин и его «уведут»;
✔️предлагают вам раскрутку аккаунта за счет фейковых лайков, комментариев и подписчиков. Так недобросовестные «специалисты» по SMM демонстрируют свои возможности, обещая вывести вас в топ. Но так вы в топ никогда не попадете;
✔️вы заказываете рекламу какой-то компании или нанимаете горе-смм-щика, а они вместо реальной работы над продвижением таким образом «продвигают» ваш аккаунт и нагоняют вам ботов;
✔️так же иногда делают отдельные блогеры, которые таким образом пытаются скрыть реальное положение дел со своей аудиторией и популярностью;
✔️организаторы гивов обещают вам, что вы получите определенное количество подписчиков, но выполнить условие не выходит. Тогда они «заливают» ботов в аккаунты спонсоров.
✔️супер-честный блогер, у которого вы купили рекламу, приводит вам не только органик-аудиторию (если она ещё будет), но и накручивает на вас ботов, дабы не было претензий по количеству приходов от рекламы.
⚡️Никогда не соглашайтесь работать с теми, кто обещает привести вам какое-то конкретное количество подписчиков в аккаунт, ведь это никогда нельзя знать заранее. Особенно стоит насторожиться, если цена невысокая.
3️⃣Что делать, если на вас летят коршуны?
✅ Чтобы прекратить атаку ботов, есть несколько работающих способов:
✔️ изменить один символ в своем логине. Часто в сервисах накрутки алгоритм настроен именно на логин. А значит замена даже одного символа помешает программе работать. Если это не помогло, значит боты приходят к вам по ID аккаунта. Иногда пользователи боятся менять логин потому, что тогда кто-то сможет им воспользоваться. Но в течение 14 дней после изменения логина, старый логин будет все еще закреплен за вами, и вы сможете перейти к нему вновь, когда атака ботов завершится;
✔️ если предыдущий способ не сработал, то можно закрыть аккаунт. Правда, для этого вам придется перейти из бизнес-профиля в личный, отсоединить аккаунт от страницы в Фейсбук и отказаться от запуска таргетинга.
⚡️Также вы не сможете просматривать статистику, а все статистические данные за прошлые периоды пропадут.
⚡️В закрытом профиле боты начнут накапливаться в запросах о подписке. Прежде, чем открыть аккаунт, вам нужно будет медленно и постепенно этих ботов удалить. Иначе, открыв аккаунт, вы получите их всех в подписчики.
✔️ ничего не делать. Накрутка ботов стоит денег, поэтому атака не может продолжаться вечно. Вряд ли ваши недоброжелатели станут сильно тратиться на ботов, поэтому дешевые боты исчезнут сами за 2-3 недели. Но они могут успеть навредить аккаунту за время вашего бездействия, поэтому лучше все же что-то предпринимать;
✔️ надеяться на Инстаграм, который сам периодически чистит некачественных ботов;
✔️ не закрывать профиль, а постепенно удалять новых ботов или дождаться окончания атаки, и только потом медленно блокировать непрошенных гостей. Правда, это рискованно. Да, вы сможете размещать таргетированную рекламу и смотреть статистику.
⚡️Только за это время боты могут сильно «замусорить» аккаунт. Конечно, вряд ли кто-то захочет тратить много денег на такие атаки, и это скоро закончится. Но кто же знает, какие планы у недоброжелателей, и как долго это продлиться.
⚡️А ведь боты могут очень подпортить статистику, особенно, если у вас небольшой профиль. Поэтому не стоит рисковать. Чем быстрее вы избавитесь от ботов, тем лучше.
❓Чем опасны такие накрутки?
⚡️Некоторые пользователи думают, что вреда от ботов нет никакого. Ведь о том, что это — боты, знает только владелец аккаунта. К тому же, накрученные боты производят впечатление. Еще бы, число подписчиков в профиле вырастает в несколько раз!
⚡️Но это только кажется! Алгоритмы Инстаграм отслеживают ботов и принимают против них меры, которые могут навредить тому, у кого эти боты появились.
❓Что может произойти, если атака ботов не прекратится?
✔️профиль не только не попадает в топ и рекомендованное, но и может быть забанен;
✔️вовлеченность в аккаунте упадет, ведь боты не будут оставлять лайки и комментарии, и уж конечно, никогда не купят ваш товар и не воспользуются услугой;
✔️охваты снизятся, поскольку Инстаграм реже будет показывать ваш контент читателям и потенциальным клиентам, число подписчиков будет увеличиваться медленнее;
✔️алгоритмам становится сложнее понимать, кто ваша целевая аудитория. Особенно это заметно, если вы настраиваете таргетинг look-a-like (на похожую аудиторию).
❗️Вся беда в том, что со временем перемешаются и люди, и кони (боты и органические подписчики), и тогда будет сложно чистить подписчиков. А мы еще помним, что есть «дорогие» боты, которых надо искать руками, а удалять пачками нельзя, надо «крошками», а то будет БАН. ⠀
Многие пользователи хоть раз, да сталкивались с атакой ботов в Инстаграм, но не все в этой ситуации действуют правильно. Чтобы избежать проблем, нужно знать, как реагировать на массовые накрутки. Если в ваш аккаунт полились боты, как из рога изобилия, — не паникуем. Выбираем тактику, которая вам больше нравится, и работаем, и радуемся, что вы кому-то сидите «комом в горле», анализируем ситуацию (где вы могли подцепить эту заразу).
Как видите, если вы уже знаете о том, что такое атака ботов в Инстаграм, то сможете легко ее выявить и избавиться от накрученных ботов. Используйте один из способов, описанных в этой статье, чтобы остановить атаку и спасти свой аккаунт от ботов. Не забывайте применять мои рекомендации и свои знания, чтобы ваш профиль гармонично рос. Действовать лучше сообща и вместе с теми людьми, у которых уже есть опыт и результаты. Приходите в наши программы, заодно и заработаете больше!
Если следующие 5 минут вы можете инвестировать в самообразование, то переходите по ссылке и читайте следующую нашу статью: Для Чего Нужно Развивать В Себе Любознательность?
Источник
Как я боролась с ботами и отрицательной накруткой поведенческих факторов
Время прочтения: 9 мин.
Елена, создательница блога trip-together.ru, поделилась с нами очень интересной статьёй о том, как она обнаружила поток ботов на свой сайт и каким образом остановила его. Читайте статью и делитесь своим опытом в комментариях.
Далее мы публикуем текст от лица автора.
Днями я случайно обнаружила, что мы вступили в новую реальность. Такие мысли закрались в мою голову во время изучения статистики посещаемости в Яндекс метрике. Я заметила всплески трафика из социальных сетей и прямых заходов на страницы, которые в данный момент практически не актуальны. У меня инфосайт по туризму, но сейчас свирепствует коронавирус, границы закрыты, туристические визы не выдают, СМИ стращают так, что народ опасается ездить даже по России.
Я подключила вебвизор и посмотрела, что это за визиты (вебвизор обычно выключен, скорость загрузки без него увеличивается). И я узнала много нового.
Как выявить ботов
Оказывается, мой сайт уже давно, с конца марта, посещают просто толпы ботов при помощи переходов из социальных сетей. Вы явно замечаете изменение характера графика, но я ничего не делала, политику продвижения в социальных сетях не меняла.
Атака сайта trip-together.ru ботами из соцсетей
Переходы между социальными сетями, такими как VK, Facebook, Instagram, Twitter, Мой Мир@Mail.Ru, Одноклассники, за 2020 год распределились практически поровну, что противоестественно. Большинство визитов из социальных сетей длятся по 5-20 секунд и за это время посещается по 2 страницы. Раньше, когда ботов не было, визиты из социальных сетей имели совсем другой характер.
Я продвигаю сайт в VK и Facebook, поэтому в 2019 основной трафик из социальных сетей приходился на них. В 2020 я продолжила продвигать сайт именно в этих сетях, но результат совсем другой. Настоящие, заинтересованные в моем контенте пользователи социальных сетей просто утонули в толпе ботов. Их практически не видно на диаграмме за 2020 год.
Увеличение бот-трафика в 2020 году изменило соотношение заходов на сайт из разных соцсетей
Пока создатели ботов не научили своих подопечных читать и адекватно листать страницу. Бота легко можно узнать по поведению на сайте, посмотрев записи вебвизора.
Многие боты, посещающие мой сайт, совершают хаотичные движения вверх и вниз в первых двух экранах смартфона. На таких скоростях скролла человеку трудно что-то прочитать. Очевидно, авторы бота не в состоянии предположить длину страницы конкретного сайта и на всякий случай не листают слишком далеко.
Все фотографии на сайте у меня вставлены через Lightbox. Бот иногда случайно нажимает на фото, оно всплывает, а эта глупая сущность продолжает скролить страницу под фотографией, будучи не в состоянии её закрыть.
Боты не всегда совершают короткие визиты, есть и такие, которые вполне реалистично способны пролистать страницу до конца. Они проявляют себя в равных интервалах между касаниями экрана и равномерной скоростью прокрутки. Человеку трудно воспроизвести такое идеальное поведение, учитывая что на странице местами вставлены фото, куски текста между фотографиями не равны друг другу. Человек обычно хотя бы какую-то часть страницы читает более внимательно, какие-то фото просматривает, какие-то пролистывает.
Иногда бот совершает переход по ссылке на моем сайте, которой не было на экране в момент перехода. Тоже явное палево.
Многие заходы совершаются с сети Московского метрополитена Metropolitan branch of OJSC MegaFon ночью, т.е. когда метро не работает. Это что? Ремонтные работники интересуются, как им съездить в Лиссабон, а через 5 секунд вспоминают, что карантин на дворе и в спешке покидают страницу чтобы не травить душу? Вы можете в это поверить?
Вообще создается впечатление, что визиты ботов на сайт равномерно размазаны по времени суток.
Зачем нужны боты
Боты нужны для накрутки поведенческих факторов в Яндексе и Гугл. В Яндексе накрутки позволяет влететь в топ по нужным запросам буквально за 2-3 недели, в Гугл процесс идет дольше, стоит дороже, но тоже хорошо работает. Яндекс сделал поведенческие факторы одним из ведущих факторов ранжирования в 2018 году и с тех пор понеслось. Накрутчики начали клепать ботов на потоке, сначала это были довольно примитивные программы. Поисковые системы запустили меры противодействия этим печальным явлениям, распознавали ботов по параметрам визитов, таким как User agent, Referer, cookie и т.д.
В результате производители ботов достигли совершенства в своем искусстве, теперь у ботов все параметры визитов идеально совпадают с таковыми у людей. У ботов есть аккаунты в социальных сетях, там даже что-то написано, размещены фотографии и поздравления с праздниками. Сейчас есть сервисы в интернете, которые могут создать вполне реальное фото человека, который никогда не сосуществовал. Распознать ботов на входе на сайт по параметрам визитов стало практически невозможно.
До марта 2020 я со своим информационным сайтом ничего не знала о ботах, потому что бота было относительно легко программировать, совсем не обязательно иметь правильные параметры, накрутка поведенческих и так работала. Поисковые системы закрутили гайки, и производителям ботов потребовалось перед накруткой коммерческого сайта нагуливать своих ботов на прочих сайтах, чтобы они обзавелись возрастом, историей в браузере, cookie и т.п. вещами.
Нагуливать бота нужно по интересам, т.е. свои интересы бот должен продемонстрировать поисковым системам. На моем сайте очевидно нагуливают автолюбителей. Идут прямые заходы на страницы, связанные с автопутешествиями.
Чем вредны боты
Боты практически сводят на нет всю статистику посещаемости сайта. Очень трудно становится оценить, сколько реальных людей посещало страницы. Получается, что трафик есть, а конверсия равна нулю. По моим партнерским ссылкам переходят, но никто ничего не покупает. Данные Яндекс.Метрики и гугл аналитики превращаются в филькину грамоту.
Обычно, я действовала по алгоритму: эта страница пользуется успехом у людей, её часто посещают — надо её улучшить. Такая тактика всегда приносила успех. Теперь нужно сначала оценить источники трафика, убедиться, что статью посещают люди, а не боты. У меня появились лишние хлопоты.
Боты ухудшают поведенческие факторы на странице, большая часть из них делает очень короткие визиты с ерзаньем в самом начале. Я переписываю статьи, стараюсь структурировать информацию и вся работа насмарку. Время на сайте неуклонно уменьшается, отказы увеличиваются.
Существует риск бана за накрутку поведенческих факторов от поисковых систем, ведь доказать, что не я сама организовала этот трафик ботов на сайт невозможно. Сейчас у Яндекса нет санкций за накрутку поведенческих факторов, но кто знает, может быть через неделю или месяц санкции вступят в силу.
Могут забанить в Adsense или РСЯ, т.к. боты скликивают рекламу. Когда я существенно уменьшила поток ботов на сайт, мой доход с AdSense просел.
Я уже боюсь выставлять самые лучшие и актуальные статьи на главную страницу, о них узнают боты и начнут их накручивать.
Что можно сделать?
Что точно не помогает
Для начала замечу, что на моем сайте последние 4 года стоит плагин безопасности iThemes Security и я использую Cloudflare:
- По IP iThemes Security банит всех хакеров из базы сайта HackRepair.com.
- Я заблокировала по User Agent 206 самых разнообразных ботов, не имеющих отношения к накрутчикам, просто для уменьшения нагрузки на сервер.
- В Cloudflare у меня подключен Argo (от 5$ в месяц), и он по своим базам отсекает до 40% злоумышленников.
- Я перенастроила Cloudflare Firewall Setting: повысила Security Level c рекомендованного Medium до High, подключила Bot Fight Mode, JavaScript Detections, Browser Integrity Check, Privacy Pass Support.
Все вышеперечисленные методы не помогают в борьбе с российскими ботами, предназначенными для накрутки поведенческих факторов в Яндексе, вообще никак. Параметры визитов у русских ботов в полном порядке, всё очень натурально.
Очень рискованно банить ботов по диапазонам IP. Они используют реальные IP мобильных операторов Megafon, MTS, Tele2, BeeLine. Забанишь по IP практически сразу отсечешь солидную часть настоящих пользователей со смартфонов. Я пыталась выделить IP накрутчиков, за 24 часа у меня получилось 542 неповторяющихся IP. Т.е. их очень много.
Банить пользователей из социальных сетей
Я решила забанить пользователей из социальных сетей, не всех, а только тех, в которых я не продвигаюсь. Переходы на мой сайт идут со следующего списка социальных сетей:
- VK
- Мой Мир@Mail.Ru
- Одноклассники
- Youtube
- Яндекс-Дзен
Инстаграм позволяет поставить всего одну ссылку в профиле. Я не верю, что кто-то абсолютно бескорыстно будет ссылаться на мой сайт из своего профиля. Свой инстаграм забросила как не оправдавший надежды. Времени на него тратиться много, а переходов на сайт практически нет. Поэтому инстаграм отправила в бан целиком.
Яндекс-Дзен также весьма ревностно относится к ссылкам, за них легко могут прикрыть аккаунт или лишить показов статью со ссылками. Я перед тем, как забанить переходы с Дзена, сделала поиск в нем по имени своего домена. Ни одной активной ссылки на мой сайт нет, только упоминания @trip-together.ru под фотографиями.
Мой Мир@Mail.Ru и Twitter совершенно не популярны, количество переходов с них на сайт совершенно ничтожно по сравнению с трафиком ботов. Однозначный бан.
На YouTube у меня есть заброшенный канал, я его использовала чтобы хранить видео, которое вставляю иногда в статьи. Видео у меня по 1-2 минуты. Ожидать сколь-нибудь значительного трафика оттуда не приходится. YouTube в бан целиком.
Ссылки — валюта интернета, большинство из них покупается за деньги или проставляется на основе договоренностей о взаимном PR. Никто не будет ставить ссылку бесплатно с трастового сайта или раскрученного аккаунта в социальной сети, популярного канала на YouTube. Не надо питать иллюзий.
Для Facebook и Vk, в которых я продвигаюсь забанила только переходы на определенные статьи. Боты атакуют не все страницы сайта, пострадали статьи, которые за последние полгода побывали на главной и часть страниц на около автомобильную тематику. Из всего этого богатства я выбрала только 5 страниц, на которые идёт самый масштабный трафик из социальных сетей, и повесила на них Cloudflare Challenge Captcha.
Банить прямые заходы
Я проанализировала прямые заходы на определенные статьи и главную страницу, просмотрела записи визитов в вебвизоре. Там видно, что все прямые заходы осуществляют боты, повесила на эти события Cloudflare JS Challenge.
Основная печаль заключается в том, что всегда остается риск забанить реальных пользователей. Нужно принимать решение на основании количественных оценок и вреда наносимого ботами.
Банить переходы с http
Я полазила по сервисам, предлагающим накрутку трафика на сайт, и совершенно случайно выяснила, что часть из них рекомендует своим пользователям делать поддельные переходы на чужие сайты с протокола http, с https переходы не получаются по техническим причинам, поэтому мне удалось отсечь почти все переходы с левых сайтов на мой, это сработало, осталось совсем чуть-чуть переходов с сайтов. Я думаю, это просто реферальный спам.
У меня есть несколько рабочих ссылок с сайтов с http, я их просто добавила в исключения, т.к. в общей массе их совсем не много.
Как технически это реализовать
Я занималась подбором алгоритмов фильтрации входящего трафика в Cloudflare Firewall. Там это делать очень удобно. Пишешь логическое выражение и сразу идешь смотреть Firewall Events, если что-то не так, это становится заметно буквально в первую минуту. Так, один раз я заблокировала доступ на сайт всем ботам, включая Гугл и Яндекс, попутно узнала, что мой сайт по какой-то причине посещают боты Amazon.
Ниже привожу статистику из Farewall Cloudflare. К сожалению, боты постепенно перетекают на другие страницы. В самом начале работы по блокировке у меня самый большой бот трафик шел с соц. сетей, затем они переместились на прямые заходы.
График из Farewall Cloudflare показывает, что бот-трафик со временем перешёл из соцсетей в прямые заходы
Все то же самое можно проделать и через файл .htaccess. Для проверки правильности настроек придется лазить по логам сервера, что гораздо менее удобно. Их нужно скачивать и загружать в какую-нибудь вспомогательную программу, например, Microsoft Power BI, сегментировать.
Как я фиксировала результаты
На данный момент я поставила на сайт систему статистики Finteza методом проксирования. Это абсолютно бесплатно, скрипт весит 30 кБ, pagespeed на него совсем не ругается. Finteza пытается оценивать качество трафика на сайт по так называемым finger prints (тем факторам, которые мы можем наблюдать в вебвизоре). Свои секреты Finteza вполне справедливо не раскрывает и правильно делает.
Finteza более предназначена для коммерческих сайтов, дающих рекламу. Но для того, чтобы оценить количественные характеристики бот трафика вполне сойдет и для информационных проектов. Ниже приведены диаграммы в стиле до и после. Я блокировала прямые заходы, трафик из социальных сетей и реферальный (youtube это реферальный трафик).
Графики из Finteza показывают, как изменилось качество трафика после блокировки ботов
Из недостатков Finteza: она работает только для десктопной версии сайта. На турбо страницы и amp-версии её поставить невозможно. В Finteza есть код для amp, но сразу после внедрения этого кода у меня появилась надпись в search console «Ошибка: Нельзя использовать собственный код JavaScript».
Отчет в Яндекс.Метрике Роботы совершенно не учитывает вот этих ботов, он их считает настоящими пользователями. Никакого всплеска на нем в конце марта и конце сентября не было и нет.
Сторонние сервисы фильтрации ботов
Я знаю по крайней мере два платных сервиса, предлагающих фильтрацию ботов. Я устанавливала BotFAQtor.ru. Там есть бесплатный тестовый период. BotFAQtor предлагает защиту от скликивания рекламы, антибот для сайта, укорачиватель ссылок. Установка на сайт на WordPress происходит в один клик при помощи плагина, даже настраивать ничего не нужно.
Суть работы заключается в том, что все запросы перенаправляются на сервис BotFAQtor, там проверяются и только после проверки происходит загрузка страницы. Этот метод ожидаемо роняет скорость загрузки по Google pagespeed в 10-15%, при этом нельзя сказать, что боты совсем пропали. BotFAQtor блокировал на моем сайте 15-20 ботов в сутки. Я решила, что такое мизерное количество не стоит такого масштабного просаживания скорости загрузки.
В общем, любой сервис, осуществляющий фильтрацию на своей стороне будет существенно ухудшать скорость загрузки, тут вариантов нет. Применение BotFAQtor против скликивания рекламы, я думаю оправдано, это хоть как-то уменьшит денежные потери. При этом происходит замедление загрузки рекламных баннеров, а не сайта, что совсем другое дело.
Попробовать извлечь выгоду из того, что не в силах победить
Больше всего страдают от ботов коммерческие сайты, а не информационные. Информационные даже могут словить от бото-процесса определенные выгоды. Можно, например, просто вставить в начало статьи рекламный блок и надеяться, что часть ботов будет случайно нажимать на рекламу. В свете почти полной отмены всякого туризма из-за карантина вполне себе рабочая тактика.
Коммерческие сайты платят за рекламу реальные деньги, а получают ботов вместо людей. Боты скролят странички, имитируют действия пользователей, но они никогда ничего не покупают, а за клики бизнес заплатил свои кровные. Во время коронакризиса это очень болезненно.
Скликивание рекламы ботами стало настоящей проблемой всех, кто эту рекламу покупает. Иногда рекламные сети возвращают деньги, а иногда нет. Попробуйте докажите Яндексу или Гуглу, что в сети бродят боты и скликивают рекламу.
Неучтенные риски
Я не учитывала то, что поисковый трафик тоже может быть трафиком ботов. Априори, я предполагала, что накручивать инфо запросы совершенно не рентабельно, особенно на туристическом информационном сайте в эпоху карантина. Инфосайты просто случайно попадают в цепочку нагула ботов. Но я могу ошибаться и всё может измениться через какое-то время..
Основная накрутка осуществляется именно в поисковой выдаче. Главная цель любого бота — набрать в поисковой строке продвигаемый запрос и совершить переход на продвигаемый сайт. Нагул ботов по инфо сайтам и социальным сетям это всего лишь прелюдия этого замечательного процесса.
Остается уповать на всемогущий Яндекс и Гугл. Может быть они наконец решат проблему с накруткой поведенческих факторов. Таким гигантам сделать это намного проще, ведь у них работают ведущие программисты мира. Я потратила на изучение входящего трафика и попытки его отфильтровать целую неделю и отфильтровала только часть, выловить всё невозможно, закрываешь от ботов одни страницы, они переходят просто на другие.
Русскоязычные сайты, конечно, больше интересует Яндекс, у него по сравнению с Гуглом всё намного хуже с антифрод технологиями. 24 сентября 2020 года Яндекс выпустил очередной фильтр за накрутку поведенческих факторов, пытаются просто нивелировать эффект накрутки без бана, потому что определить кто крутил сайт — хозяин или конкурент — практически невозможно.
Но в конце сентября я как раз и почувствовала очередной всплеск трафика ботов. Производители ботов решили после изменения алгоритмов Яндекса просто еще усерднее нагуливать своих подопечных на ни в чем не повинных, белых и пушистых сайтах.
Другие мои статьи про технические аспекты ведения блога на WordPress вы можете почитать на моём сайте.
Давайте в комментариях обсудим ботов. Вы замечали на своём сайте солидный трафик из ботов? Что предпринимали? Поделитесь своими методами противодействия подобным явлениям. Может не стоит ничего делать, ведь всё происходящее не накрутка в отказы?
Источник