OpenAI, Google e Microsoft adotam novo padrão para bloquear uso de textos por IA

OpenAI, Google, Microsoft e Anthropic vão adotar um novo padrão que permite aos donos de sites bloquear a raspagem de seus conteúdos por inteligências artificiais, segundo o The Verge publicou nesta sexta-feira (30). O recurso unifica o processo: em vez de configurar restrições individuais para cada empresa, os publicadores poderão aplicar suas preferências de treinamento de IA de uma só vez para vários rastreadores.

O novo controle funciona por meio de um sinal compartilhado, chamado de "token de política", que ficará dentro do arquivo robots.txt de um site. Esse arquivo é um padrão antigo da internet, usado para dizer aos robôs de busca e arquivamento quais páginas eles podem ou não acessar. A proposta do token foi feita por Kevin Kelley, líder técnico de padrões da Anthropic, como parte da Força-Tarefa de Engenharia da Internet (IETF).

A mudança ocorre enquanto empresas de mídia e criadores tentam lidar com o volume crescente de robôs que varrem a internet para alimentar modelos de linguagem. Algumas organizações já vinham adotando defesas próprias, como o padrão Really Simple Licensing (RSL), que permite cobrar pelo acesso dos rastreadores, e a Cloudflare bloqueando rastreadores de IA por padrão.

As quatro gigantes da IA afirmam que vão restringir o acesso de seus robôs caso encontrem o novo token. A Microsoft prometeu controles granulares, permitindo que os sites escolham ficar de fora do treinamento geral ou do processo de "aterrissagem" (grounding), que usa fontes verificadas para reduzir alucinações nas respostas, sem afetar a exibição nos resultados de busca do Bing. O Google já havia implementado controles parecidos para sua busca com IA.

A Anthropic já adotou o novo sinal. Google e Microsoft planejam dar suporte ao padrão no ano que vem, enquanto a OpenAI promete a implementação para os próximos meses. A Meta, dona do Facebook e do Instagram, manifestou apoio à criação de um sinal comum para a indústria, mas o porta-voz Andy Stone não confirmou se a empresa vai respeitar a regra na prática.