Компанія Cloudflare блокуватиме за замовчуванням веб-скрапінг за допомогою ІІ, а також експериментує з інструментами, які дозволять творцям контенту стягувати плату за такі сканування сайтів.

Представники Cloudflare розповідають у блозі, що функція pay-per-crawl в даний час знаходиться на стадії приватної бети. У її тестуванні візьме участь невелика кількість видавців та творців контенту.

Генеральний директор Cloudflare Метью Прінс (Matthew Prince) заявляє, що ця функція дозволить інтернету пережити «еру штучного інтелекту».

«Оригінальний контент — це те, що робить інтернет одним з найбільших винаходів минулого століття, і дуже важливо, щоб творці продовжували його створювати, — пише Прінс. яка влаштує всіх. Щоб інтернет пережив еру штучного інтелекту, ми маємо надати видавцям контроль, на який вони заслуговують, і побудувати нову економічну модель, яка працюватиме для всіх — творців та споживачів контенту, майбутніх засновників ШІ-компаній та самого інтернету».

В даний час подати заявку на участь у цьому експерименті можуть усі творці контенту, зацікавлені у бета-тестуванні. У компанії запевняють, що згодом вони також зможуть «отримати винагороду за внесок в економіку ШІ».

Поки що тільки видавці, що беруть участь у бета-тесті, можуть вибирати, які боти отримають доступ до тих чи інших розділів їх сайтів, експериментуючи з блокуванням усіх ботів або дозволяючи певним ботам доступ до окремих типів контенту.

Також ініціатива Cloudflare дає можливість стягувати плату з одних краулерів, дозволяючи іншим скрапити контент безкоштовно. Це має дозволити видавцям, які уклали угоди з ШІ-компаніями, дозволити лише «схвалений» скрапінг, захистивши свій контент від інших компаній, з якими не укладено ліцензійних угод.

У Cloudflare наголошують, що проект створюється у партнерстві з ШІ-компаніями, які можуть лише виграти від наявності простого інтерфейсу для ведення переговорів із творцями контенту. Також передбачається, що це допоможе їм припинити витрачати кошти на пошук низькоякісних джерел даних.