Ques/Help/Req Хостинг-провайдеров просят блокировать поискового бота GPTBot компании OpenAI

[XakeR]

СМИ сообщают, что подведомственный Роскомнадзору ФГУП «Главный радиочастотный центр» (ГРЧЦ) разослал российским хостинг-провайдерам письмо о выявлении поискового робота GPTBot. Ведомство рекомендует блокировать возможность бота по просмотру и анализу интернет-страницы для «исключения сбора информации о критических уязвимостях ресурсов», которые находятся в зоне ответственности компаний.

Журналисты издания «Коммерсант» ознакомились с текстом письма и рекомендациями по выявлению и блокировке бота GPTBot, которое ведомство 11 декабря разослало ряду хостинг-провайдеров. Представители ГРЧЦ отправку письма подтвердили.

В письме говорится о необходимости оценить риски сбора информации об уязвимости ресурсов или «иной чувствительной информации, в том числе содержащей персональные данные». В случае выявления таких рисков ГРЧЦ указывает на необходимость заблокировать обращения бота. Также ведомство направило инструкцию о том, как это сделать.

Компания OpenAI запустила своего краулера в августе 2023 года для сканирования веб-ресурсов и сбора открытых данных, которые впоследствии будет использовать для улучшения и обучения ChatGPT. Вскоре после запуска компания подверглась критике из-за несанкционированного сбор данных, после чего OpenAI опубликовала инструкцию, как заблокировать доступ бота к сайту или предоставить ему данные лишь частично.

Стоит отметить, что недавно аналитики Qrator Labs опубликовали статистику об активности ботов в период распродаж. В ответе отмечалось, что количество обращений GPTBot к российским ресурсам стало рекордным, и перебор локаций веб-ресурса и API происходит с максимально возможной скоростью.

«По нашим наблюдениям многие игроки рынка еще не обновили свои конфигурации, поэтому запросы GPTBot, если они не блокируются защитными решениями, могут вызвать серьезную паразитную нагрузку и повышенное потребление серверных мощностей. У ряда крупных интернет-магазинов доля обращений GPTBot в массе всех бот-запросов доходит до 90%», – писали специалисты Qrator Labs.

Как теперь сообщил журналистам менеджер продукта Qrator.AntiBot в Qrator Labs Георгий Тарасов, в целом GPTBot оформлен максимально корректно, всегда «представляется» и заявляет о соблюдении правил доступа для ботов, заданных владельцами ресурсов.

«Если компании в рунете и в глобальном интернете продолжат запрещать доступ для GPTBot и других AI-поисковых роботов в том же темпе, как это происходит сейчас, то AI/ML бизнесам придется прибегать к другим методам сбора актуальных данных,— отмечает Тарасов.— Например, к маскировке ботов под легитимных пользователей и покупку агрегированных данных у владельцев бот-ферм, а это уже входит в категорию нежелательных бот-атак».

В свою очередь глава хостинг-провайдера RUVDS Никита Цаплин заявил изданию, что ИИ-боты могут применяться не только в мирных целях, «но и служить интересам киберпреступников». По его словам, на базе таких решений уже создаются инструменты для взлома, фишинга и обеспечения работы даркнет-площадок.

«Они [боты] становятся все эффективнее и, следовательно, опаснее. Конечно, отличить бота от обычного пользователя не всегда просто, но в целом такую работу вести нужно. Мы расцениваем инициативу [Роскомнадзора] как здравую, ее можно советовать применять всем вебмастерам», — говорит Цаплин.