Компания Cloudflare, Inc, ведущая облачная компания по подключению, объявила, что стала первым поставщиком интернет-инфраструктуры, который по умолчанию заблокировал поисковым роботам с искусственным интеллектом доступ к контенту без разрешения или компенсации. Начиная с сегодняшнего дня, владельцы веб-сайтов могут выбирать, хотят ли они, чтобы поисковые роботы с искусственным интеллектом получали доступ к их контенту, и решать, как компании с искусственным интеллектом могут его использовать. Компании, работающие с искусственным интеллектом, теперь также могут четко указать свою цель – используются ли их поисковые роботы для обучения, вывода данных или поиска, – чтобы помочь владельцам веб-сайтов решить, какие поисковые роботы разрешить. Новая настройка Cloudflare по умолчанию – это первый шаг к более устойчивому будущему как для создателей контента, так и для новаторов в области искусственного интеллекта.
На протяжении десятилетий Интернет функционировал по принципу простого обмена: поисковые системы индексировали контент и перенаправляли пользователей обратно на оригинальные веб-сайты, генерируя трафик и доходы от рекламы для веб-сайтов любого размера. Этот цикл вознаграждает создателей качественного контента деньгами и подписчиками, помогая пользователям находить новую и актуальную информацию. Теперь эта модель нарушена. Поисковые роботы с искусственным интеллектом собирают контент, такой как текст, статьи и изображения, для получения ответов, не отсылая посетителей к первоисточнику, что лишает создателей контента дохода и удовлетворения от того, что кто–то просматривает их контент. Если исчезнет стимул к созданию оригинального и качественного контента, общество в конечном итоге проиграет, и будущее Интернета окажется под угрозой.
“Если Интернет собирается пережить эпоху искусственного интеллекта, мы должны предоставить издателям контроль, которого они заслуживают, и построить новую экономическую модель, которая будет работать для всех – создателей, потребителей, завтрашних основателей искусственного интеллекта и будущего самого Интернета”, – сказал Мэтью Принс, соучредитель и генеральный директор из Cloudflare. “Оригинальный контент – это то, что делает Интернет одним из величайших изобретений прошлого века, и важно, чтобы создатели продолжали его создавать. Поисковые роботы с ИИ без ограничений обрабатывают контент. Наша цель – вернуть власть в руки создателей, одновременно помогая компаниям с ИИ внедрять инновации. Речь идет о том, чтобы обеспечить будущее бесплатного и динамичного Интернета с помощью новой модели, которая работает для всех”.
“Инновационный подход Cloudflare к блокировке ИИ-сканеров меняет правила игры для издателей и устанавливает новый стандарт уважения к контенту в Интернете. Когда компании, работающие с ИИ, больше не могут получать все, что хотят, бесплатно, это открывает двери для устойчивых инноваций, основанных на разрешении и партнерстве”, – сказал Роджер Линч, генеральный директор Condé Nast. “Это важный шаг на пути к созданию справедливого обмена ценностями в Интернете, который защищает авторов, поддерживает качественную журналистику и привлекает к ответственности компании, занимающиеся искусственным интеллектом”.
“Мы давно заявляли, что платформы искусственного интеллекта должны выплачивать справедливую компенсацию издателям и создателям за использование нашего контента. Теперь мы можем ограничить доступ к нашему контенту для тех партнеров в области искусственного интеллекта, которые готовы участвовать в справедливых соглашениях”, – сказал Нил Фогель, генеральный директор Dotdash Meredith. – Мы гордимся тем, что поддерживаем Cloudflare, и с нетерпением ждем возможности использовать их инструменты для защиты нашего контента и открытого Интернета”.
“Как крупнейшему издательству в стране, объединяющему USA TODAY и более 200 местных изданий в сети USA TODAY, блокирование несанкционированного копирования и использования нашего оригинального контента без справедливой компенсации является критически важным”, – сказал Ренн Туриано, директор по работе с потребителями и продуктами Gannett Media. – Поскольку наша отрасль сталкивается с подобными вызовами, мы надеемся, что технология Cloudflare поможет бороться с кражей ценных IP-данных“.
“Создатели и издатели по всему миру используют Pinterest для расширения своего бизнеса, охвата новой аудитории и непосредственного измерения своего успеха. Поскольку искусственный интеллект продолжает изменять цифровой ландшафт, мы стремимся создать здоровую интернет-инфраструктуру, в которой контент будет использоваться по назначению, чтобы создатели и издатели могли процветать”, – сказал Билл Реди, генеральный директор Pinterest.
“Компании, работающие с искусственным интеллектом, поисковые системы, исследователи и все остальные, кто просматривает сайты, должны быть теми, за кого себя выдают. И любая платформа в Интернете должна иметь право голоса в том, кто и для чего использует их контент”, – сказал Стив Хаффман, соучредитель и генеральный директор Reddit. “Вся экосистема создателей, платформ, веб-пользователей и поисковых роботов станет лучше, когда поиск будет более прозрачным и контролируемым, и усилия Cloudflare – это шаг в правильном направлении для всех”.
“Мы приветствуем Cloudflare за то, что она выступает за устойчивую цифровую экосистему, которая приносит пользу всем заинтересованным сторонам — потребителям, которые полагаются на достоверную информацию, издателям, которые инвестируют в ее создание, и рекламодателям, которые поддерживают ее распространение”, – сказал Вивек Шах, генеральный директор Ziff Davis.
Cloudflare поддерживает работу одной из крупнейших сетей в мире, помогая управлять и защищать 20% трафика в Интернете. Компания ежедневно обрабатывает триллионы запросов и, таким образом, располагает самыми передовыми в мире решениями для управления ботами, позволяющими безошибочно отличать обычных пользователей от искателей с помощью искусственного интеллекта. В сентябре 2024 года Cloudflare представила возможность блокировать поисковые системы с использованием искусственного интеллекта одним щелчком мыши. С тех пор более миллиона клиентов выбрали эту опцию, которая задумывалась как агрессивное, но простое решение, позволяющее остановить поиск на время определения стратегии с использованием искусственного интеллекта.
Теперь Cloudflare делает следующий шаг к внедрению модели, основанной на разрешениях, для ИИ-сканеров. Компании, работающие с ИИ, теперь должны будут получать явное разрешение от веб-сайта перед обработкой. При регистрации в Cloudflare у каждого нового домена теперь будут спрашивать, хотят ли они разрешить поиск с помощью искусственного интеллекта, что дает клиентам возможность заранее разрешить или запретить доступ с помощью искусственного интеллекта. Это существенное изменение означает, что каждый новый домен запускается с управлением по умолчанию, и владельцам веб-страниц не нужно вручную настраивать свои параметры для отказа. Клиенты могут легко проверить свои настройки и включить сканирование в любое время, если они хотят, чтобы к их контенту был свободный доступ.
Теперь Cloudflare делает экосистему контента более прозрачной для ИИ-компаний и создателей. Недавно компания предложила новые способы аутентификации ИИ–ботов, а также для веб-сайтов, которые могут идентифицировать этих ботов, предоставляя создателям и владельцам веб-сайтов новые механизмы идентификации и контроля над тем, какие поисковые роботы они хотят разрешить. Cloudflare участвует в разработке нового протокола, который предоставит владельцам ботов и разработчикам ИИ-агентов общедоступный стандартный способ идентификации.