У світі, де штучний інтелект (ШІ) стрімко змінює правила гри, Cloudflare, компанія, що забезпечує 20% роботи Інтернету, зробила крок, який може перевернути стосунки між видавцями та ШІ-компаніями. У вівторок, 1 липня 2025 року, Cloudflare оголосила про запуск експериментального маркетплейсу Pay per Crawl у закритій бета-версії. Ця платформа обіцяє дати власникам вебсайтів не лише контроль над їхнім контентом, а й шанс заробляти на ньому в епоху ШІ. Розповідаємо, як це працює і чому це важливо для українців та світу!
Що таке Pay per Crawl
Уявіть собі ринок, де видавці можуть вирішувати, чи дозволяти ШІ-ботам сканувати їхній контент, і навіть отримувати за це мікроплатежі. З Pay per Crawl власники сайтів можуть:
- Дозволити сканування за плату - встановити ціну за кожне "сканування" їхнього сайту ШІ-ботами.
- Надати безкоштовний доступ - для тих, хто хоче залишити контент відкритим.
- Заблокувати боти - якщо видавець не бажає, щоб їхній контент використовували для навчання ШІ чи інших цілей.
Cloudflare також запровадив інструменти, які дозволяють видавцям бачити, як і для чого ШІ-боти сканують їхні сайти - чи то для навчання моделей, чи для пошукових відповідей. А для нових сайтів, створених через Cloudflare, блокування ШІ-ботів тепер увімкнено за замовчуванням. Хочете дозволити доступ? Доведеться вручну надати дозвіл.
Чому це важливо для видавців
Сьогодні видавці, зокрема новинні портали, стикаються з кризою: трафік із пошуку Google падає, а чат-боти на кшталт ChatGPT стають дедалі популярнішими. Деякі великі видання, як-от The New York Times, судяться з ШІ-компаніями за використання їхнього контенту без дозволу, тоді як інші укладають ліцензійні угоди. Але що робити меншим видавцям, які не мають таких ресурсів? Cloudflare пропонує рішення: маркетплейс, де будь-який видавець, від блогера до великого медіа, може сам визначати умови співпраці з ШІ-компаніями.
Наприклад, дані Cloudflare показують, що ШІ-боти, такі як від OpenAI чи Anthropic, сканують сайти тисячі разів, але рідко приводять реальних відвідувачів. Для порівняння: пошуковий бот Google сканує сайти 14 разів на один реферал, тоді як бот Anthropic - аж 73 000 разів! Pay per Crawl може змінити цю динаміку, даючи видавцям шанс монетизувати сканування.
Для українських медіа, блогерів і власників сайтів цей маркетплейс може стати новим джерелом доходу в умовах, коли традиційна реклама стає менш надійною. Уявіть: ваш блог про українську культуру чи місцевий новинний портал може заробляти щоразу, коли ШІ-боти сканують ваш контент для досліджень чи пошукових відповідей. Це особливо актуально в часи, коли якісний контент стає основою для ШІ-систем, які допомагають знаходити інформацію - від найкращих ресторанів у Києві до останніх новин.
Що кажуть експерти
Генеральний директор Cloudflare Метью Прінс ще у 2024 році натякав, що інструменти для блокування ШІ-ботів - лише перший крок до створення ринку, де видавці матимуть владу. "Це не просто захист контенту, а нова бізнес-модель для епохи ШІ", - зазначив він у інтерв'ю TechCrunch. Великі видання, як-от Conde Nast, TIME і The Atlantic, уже підтримали ініціативу, увімкнувши блокування ШІ-ботів за замовчуванням.
Cloudflare мріє про світ, де ШІ-агенти, діючи від імені користувачів, платитимуть за доступ до контенту в реальному часі. Уявіть: ви просите ШІ знайти найкращі рецепти борщу, і він автоматично платить видавцям за доступ до їхніх сайтів, щоб зібрати найсвіжіші дані. Це може зробити Інтернет більш справедливим, де творці контенту отримують винагороду за свою працю.
Чи спрацює це
Запуск Pay per Crawl - амбітний експеримент, і успіх залежить від того, чи приєднаються до нього ШІ-компанії та видавці. Поки що Cloudflare виступає посередником, стягуючи плату з ШІ-компаній і розподіляючи прибуток між видавцями. Хоча криптовалюта поки не використовується, у майбутньому вона може спростити мікроплатежі.