Google apoyará un control compartido de entrenamiento IA en robots.txt en 2027
Google ha anunciado su intención de adoptar un mecanismo estandarizado en robots.txt que permitirá a los sitios web expresar sus preferencias de entrenamiento de inteligencia artificial ante múltiples proveedores con una sola instrucción. Esta iniciativa, basada en el trabajo del grupo AIPREF del IETF, complementa el control específico Google-Extended disponible desde 2023. El objetivo es que la adopción por parte de los principales actores del sector sea efectiva a lo largo de 2027.
Puntos clave
- Google implementará soporte para un 'policy token' compartido en robots.txt que permitirá a los propietarios de sitios web comunicar sus preferencias de entrenamiento de IA a múltiples proveedores en un único paso, sin necesidad de gestionar directivas separadas para cada empresa.
- Cuando un sitio utilice este token compartido para denegar el entrenamiento y no especifique Google-Extended de forma explícita, Google interpretará esa señal como si el editor hubiera desactivado Google-Extended, lo que garantiza coherencia entre el mecanismo genérico y el control específico de Google.
- Los controles específicos de cada empresa, como Google-Extended, seguirán funcionando en paralelo al nuevo mecanismo compartido, permitiendo a los propietarios de sitios web combinar una preferencia general con instrucciones personalizadas para proveedores concretos.
- La propuesta es consistente con el Código de Práctica de la UE para proveedores de modelos de IA de propósito general bajo el Reglamento de IA europeo (EU AI Act), que reconoce robots.txt como método principal para que los editores expresen preferencias legibles por máquinas.
- El mecanismo surge de las deliberaciones del grupo de trabajo AIPREF del IETF e incorpora comentarios de editores, grupos de la sociedad civil, reguladores y otros agentes interesados que demandaban controles transversales sobre el entrenamiento de IA.
- Google prevé dar soporte a este nuevo control junto con otros proveedores de IA a lo largo de 2027, y ha comprometido actualizaciones periódicas sobre el estado del proyecto durante ese periodo.
Análisis
Hasta ahora, gestionar las preferencias de entrenamiento de IA en robots.txt requería que cada propietario de sitio web añadiera directivas individuales para cada rastreador de cada proveedor de inteligencia artificial. Este enfoque fragmentado resultaba difícil de mantener a medida que el número de agentes de IA que consumen contenido web crecía de forma acelerada. El nuevo mecanismo de token compartido resuelve este problema estructural al introducir una señal única que los proveedores adheridos interpretarán de manera homogénea.
La articulación entre el token compartido y los controles específicos como Google-Extended refleja una arquitectura de preferencias en dos niveles: una capa general para quienes deseen una política uniforme y una capa granular para quienes necesiten matizar sus instrucciones según el proveedor. Esto otorga a los editores flexibilidad real sin obligarles a renunciar a la simplicidad cuando no requieren distinción entre actores del sector.
El vínculo explícito con el EU AI Act y el Código de Práctica para modelos de IA de propósito general añade una dimensión regulatoria relevante. Los editores que operen en la Unión Europea o que dirijan contenido a audiencias europeas encontrarán en robots.txt un instrumento con reconocimiento formal ante las autoridades de supervisión, lo que eleva su importancia más allá de la mera optimización técnica del rastreo.
Desde la perspectiva de la visibilidad, la relación entre Google-Extended y Gemini Apps establece una conexión directa entre la configuración de robots.txt y el potencial de aparecer como fuente en respuestas generadas por IA. Los sitios que desactiven Google-Extended, ya sea mediante el control específico o mediante el token compartido sin excepciones, quedarán excluidos de este canal, lo que puede tener consecuencias tangibles sobre el tráfico referido desde entornos de IA generativa.
El hecho de que la propuesta haya sido desarrollada en el marco del IETF, un organismo de estandarización reconocido internacionalmente, sugiere que el mecanismo tiene vocación de convertirse en un estándar abierto y duradero. La participación de múltiples proveedores de IA en su adopción a partir de 2027 podría consolidar robots.txt como el registro central de preferencias de uso de contenido web, ampliando considerablemente su rol respecto al histórico control de rastreo e indexación.
Qué hacer
- Auditar de inmediato el archivo robots.txt de cada dominio gestionado para identificar las directivas existentes relacionadas con rastreadores de IA y evaluar si la configuración actual refleja la política deseada antes de que el nuevo mecanismo entre en vigor en 2027.
- Decidir de forma explícita y documentada si el sitio web permitirá o denegará Google-Extended, teniendo en cuenta que los sitios que lo permiten son elegibles para aparecer en respuestas de Gemini Apps y recibir tráfico generado por IA, lo que puede representar una fuente de visibilidad creciente.
- Planificar la migración hacia el uso del token compartido del AIPREF cuando esté disponible, aprovechando su capacidad de cubrir múltiples proveedores simultáneamente, y mantener Google-Extended como directiva específica solo cuando sea necesario un tratamiento diferenciado.
- Seguir de cerca las publicaciones del grupo de trabajo AIPREF del IETF y las actualizaciones de Google Search Central para adaptar la configuración de robots.txt a medida que la sintaxis y el vocabulario del estándar se vayan concretando antes de 2027.
- Incorporar la revisión periódica de las directivas de entrenamiento de IA en robots.txt al proceso habitual de auditoría técnica SEO, con la misma atención que se presta a las directivas de rastreo e indexación tradicionales.
- Para sitios web con operaciones en la Unión Europea, documentar el uso de robots.txt como mecanismo de expresión de preferencias legibles por máquinas, ya que el EU AI Act reconoce formalmente este método, lo que puede resultar útil en auditorías de cumplimiento normativo relacionadas con el Reglamento de IA.
Los sitios web que permitan explícitamente Google-Extended seguirán siendo elegibles para aparecer en respuestas generadas por IA y recibir tráfico a través de Gemini Apps, lo que convierte la gestión del robots.txt en un factor directo de visibilidad en ecosistemas de IA. Una configuración incorrecta o pasiva podría excluir un dominio de estos canales de tráfico emergentes.