Cloudflare представив інструмент AI Labyrinth, який спрямовує неавторизованих ШІ-ботів на спеціально створені сторінки з марним контентом, змушуючи порушників витрачати обчислювальні ресурси безрезультатно.
Компанія Cloudflare представила новий інструмент для боротьби з ботами, які сканують сайти та без дозволу використовують контент для навчання своїх моделей штучного інтелекту. Новинка називається AI Labyrinth, і її головне завдання - не блокувати, а "уповільнювати" таких ботів, перенаправляючи їх на сторінки з безглуздим вмістом, згенерованим самим ШІ.
Cloudflare зауважила, що кількість запитів від ШІ-ботів, що збирають інформацію для подальшого навчання моделей, досягла значних масштабів — приблизно 1% всього інтернет-трафіку, який обробляє компанія. В абсолютних цифрах це понад 50 млрд. запитів щодня.
Як працює AI Labyrinth
AI Labyrinth працює на базі відкритої платформи Workers AI і генерує «лабіринти» з реалістичних HTML-сторінок. Потрапивши в таку пастку, роботи змушені витрачати ресурси на обробку марного контенту. Користувачі при цьому не стикаються з такими сторінками і навіть не помічають їхнього існування.
«Коли ми виявляємо неавторизованого бота, то замість блокування перенаправляємо його на серію сторінок, що згенерували, досить переконливих, щоб бот продовжив подорожувати по них. Таким чином, бот марно витрачає свій час і обчислювальні ресурси», — пояснили в Cloudflare.
При цьому компанія підкреслює, що навмисно уникає генерації хибної чи шкідливої інформації. Контент у лабіринтах пов'язаний із науковими фактами, але не є корисним для навчальних моделей. Також він ніяк не впливає на репутацію сайту та його позиції у пошукових системах.
Для чого Cloudflare це робить
Основна мета AI Labyrinth — зробити роботу неавторизованих ботів максимально витратною, тим самим створюючи перешкоду для компаній, які займаються збиранням контенту без дозволу власників сайтів. За задумом, збільшення витрат на марну обробку має спонукати операторів роботів відмовитися від подібних практик.
Крім того, AI Labyrinth допомагає точніше ідентифікувати ботів:
«Жодна реальна людина не переходитиме за чотирма і більше посиланнями, які ведуть у лабіринт безглуздого контенту. Будь-який відвідувач, який це зробив, майже напевно є ботом, і ми можемо ефективно виявляти таких порушників», — заявляє Cloudflare.
Що далі
Cloudflare не збирається зупинятися на досягнутому і очікує, що в майбутньому власники ботів намагатимуться обійти її захист. Тому компанія вже працює над покращенням свого «лабіринту»:
- зробить посилання важче ботами, що розпізнаються;
- інтегрує сторінки лабіринту ще більш непомітно в структуру сайтів, що захищаються.
Нововведення вже доступне всім користувачам Cloudflare, включаючи безкоштовний тарифний план. Активувати AI Labyrinth можна у власному кабінеті.