CEO de Cloudflare insta al regulador del Reino Unido a separar los crawlers de búsqueda y IA de Google

La posición de Cloudflare sobre la combinación de crawlers de Google

Matthew Prince, director ejecutivo de Cloudflare, viajó a Londres para discutir con la Autoridad de Competencia y Mercados del Reino Unido (CMA) la necesidad de una regulación más estricta del crawler web de Google. Prince dice que la designación reciente de la CMA de Google como jugador con "estatus especial" en los mercados de búsqueda y publicidad abre la puerta a una supervisión más amplia, incluyendo los resúmenes de IA, el modo IA, la fuente de descubrimiento, las historias principales y la pestaña de noticias.

Cloudflare no es una empresa de IA en sí misma, pero proporciona infraestructura a una gran parte de las empresas de IA - Prince señala que "el 80% de las empresas de IA son nuestros clientes". Debido a esa posición, Cloudflare cree que puede ofrecer al regulador datos concretos sobre cómo opera el crawler de Google y por qué es difícil para los competidores replicar su alcance.

El problema con los crawlers combinados

Prince sostiene que la práctica de Google de utilizar el mismo crawler para su motor de búsqueda y sus productos de IA crea una "ventaja injusta". Explica que Google reclama un "derecho divino" para acceder a todo el contenido web sin pagar, aprovechando el crawler que ha construido durante "27 años". Esta combinación fuerza a los propietarios de sitios web a optar por salir de ambos, contenido de búsqueda y de IA, al mismo tiempo, un escenario que es "no factible para la mayoría", especialmente para las empresas de medios que dependen del tráfico de búsqueda para una parte significativa de los ingresos.

Bloquear el crawler de Google también deshabilita los mecanismos de seguridad de anuncios de la empresa, lo que significa que los anuncios en todas las plataformas dejarían de funcionar. Prince argumenta que esto crea un "no inicio" para los editores que podrían considerar rechazar el crawler de Google.

Llamadas a la competencia y al pago por contenido

Prince propone que un mercado competitivo permitiría que miles de empresas de IA compraran contenido a los medios, en lugar de depender de una sola fuente gratuita. Él elogia el movimiento de la CMA para señalar a Google como un objetivo potencial de regulación, describiéndolo como un "movimiento reflexivo" que reconoce la ventaja única de Google.

Otros líderes de la industria coinciden con las preocupaciones de Prince. Neil Vogel, CEO de People, Inc., el mayor editor digital y de impresión en Estados Unidos, recientemente calificó a Google de "mal actor" y destacó que las empresas de medios se sienten obligadas a dejar que Google rastree sus sitios para contenido de IA debido al enfoque combinado. La empresa de Vogel ha adoptado la solución de Cloudflare para bloquear los crawlers de IA no pagados y informa que se están llevando a cabo conversaciones con varios proveedores de modelos de lenguaje grandes.

Resultados potenciales

Si la CMA adopta reglas más estrictas, Google puede estar obligado a separar su crawler de búsqueda de su recopilación de datos de IA, nivelando el campo de juego para otros desarrolladores de IA. Los datos y la defensa de Cloudflare apuntan a apoyar ese cambio regulatorio, fomentando un entorno en el que las empresas de IA deben pagar por el contenido que utilizan, protegiendo así los intereses de los editores y fomentando una competencia más amplia.