Un cliente me llamó en octubre del año pasado, completamente asustado. Su panel de alojamiento mostraba un aumento del 34% en el tráfico de rastreo en tres semanas y estaba convencido de que había sido atacado por un raspador. Revisé sus registros del servidor. No un raspador. ClaudeBot y GPTBot, rastreando su catálogo de WooCommerce de 800 páginas cada pocos días como un reloj. No tenía idea de que estas cosas ni siquiera existían.
Esa conversación está sucediendo en todas partes en este momento. Y el consejo que la gente está recibiendo en línea está por todos lados: bloquea todo, permite todo, no importa, importa enormemente. La mayoría está escrita por personas que no han mirado un registro de servidor en meses.
Yo lo he hecho. En más de 12,000 sitios construidos en Seahawk Media, más mi propia cartera de clientes, ahora tengo una imagen bastante clara de qué está realmente sucediendo y cuál es la llamada correcta para diferentes tipos de sitios. Déjame repasar esto.
Qué son realmente ClaudeBot y GPTBot
Primero un poco de contexto, porque la gente confunde estos.
GPTBot es el rastreador de OpenAI. Se utiliza para recopilar datos de entrenamiento para futuros modelos GPT, y ha estado activo desde mediados de 2023. OpenAI publicó su documentación de GPTBot y afirmó claramente que bloquearlo no afectará cómo ChatGPT responde preguntas sobre tu contenido existente, es puramente para entrenamiento futuro.
ClaudeBot es el equivalente de Anthropic, utilizado para entrenar modelos Claude. Misma historia básica. Aparece en tus registros con una cadena de agente de usuario ClaudeBot y se identifica honestamente, lo cual les doy crédito.
Hay otros también. Google-Extended de Google es específicamente para entrenamiento de Gemini, separado de Googlebot. CCBot (Common Crawl) ha estado por años. Bytespider de ByteDance. La lista crece.
Pero aquí está la cosa: no todos estos se comportan de manera idéntica. GPTBot y ClaudeBot respetan tu robots.txt. Bytespider... menos confiablemente, en mi experiencia.
El mecanismo de bloqueo: robots.txt y qué realmente hace
Si quieres bloquear GPTBot, añades esto a tu robots.txt:
`` User-agent: GPTBot Disallow: / ``
El mismo patrón para ClaudeBot, Google-Extended, y así sucesivamente. Simple. Toma treinta segundos en cualquier plugin de WordPress como Yoast o Rank Math, o editas el archivo directamente.
Pero aquí está lo que eso realmente significa: es una solicitud educada, no un candado. Los rastreadores legítimos de empresas con algo que perder legal y reputacionalmente (OpenAI, Anthropic, Google) sí lo respetan. ¿Raspadores dudosos construyendo herramientas competidoras? Los ignoran completamente. Así que si tu preocupación es prevenir robo de datos por actores maliciosos, robots.txt no es tu línea de defensa. Querrías la gestión de bots de Cloudflare o bloqueo de IP a nivel de servidor para eso.
He visto dueños de sitios pasar dos horas configurando reglas robots.txt para bloquear algún rastreador de IA sin nombre que absolutamente nunca iba a prestar atención. Pérdida de tiempo. Enfoca tu energía en los rastreadores legítimos, porque es donde tus opciones reales viven.
La compensación real de la que nadie habla
Está bien. Aquí es donde la mayoría de la discusión falla.
El argumento para bloquear va así: "Están tomando mi contenido para entrenar sus modelos y yo no obtengo nada." Justo. Genuinamente. Si eres un editor con contenido editorial original, una base de datos legal, una biblioteca de tutoriales profundos, esa es tu propiedad intelectual y el intercambio de valor es turbio en el mejor de los casos.
El argumento a favor funciona así: "Ser citado en respuestas de IA es el nuevo backlink. Quieres estar en los datos de entrenamiento." También es bastante justo. Pero más frágil de lo que la gente admite, porque la relación entre datos de entrenamiento y citas de IA no es tan directa.
Aquí está mi perspectiva real, después de ver esto desarrollarse en sitios de clientes durante más de un año.
La pregunta no es "bloquear o permitir" globalmente. Es "qué contenido, para qué crawlers, y qué realmente necesito proteger".
Un blog SaaS existe para generar conciencia. ¿Bloquear GPTBot de eso? Estás cortando un canal de distribución potencial sin beneficio tangible alguno. ¿Una base de datos de recetas pagada o un archivo de investigación premium? El cálculo cambia completamente.
A principios de 2024 estaba trabajando con un cliente que ejecuta un servicio de reportes industriales basado en suscripción. Tráfico decente, alrededor de 40,000 visitantes mensuales, la mayoría tras un muro de pago. Estaban permitiendo completamente todos los crawlers de IA porque "más visibilidad". Miré qué era realmente accesible para bots e incluía 18 meses de reportes premium en texto completo que Google había sido instruido de no indexar. Bloqueamos los crawlers de IA de esos directorios. Tomó veinte minutos. Las páginas de marketing público permanecieron abiertas.
Ese es el matiz que falta en el discurso plano de "bloquear todo" o "permitir todo".
Cómo Afecta Esto al SEO (Y Cómo No Lo Hace)
Seré directo: bloquear ClaudeBot y GPTBot no tiene efecto alguno en tus clasificaciones de Google. Ninguno. Googlebot es un sistema completamente separado. GPTBot y ClaudeBot no alimentan Google Search. No dejes que nadie te diga lo contrario.
Lo que potencialmente afecta es tu visibilidad dentro de respuestas generadas por IA. ChatGPT, Claude, Perplexity. Perplexity en particular hace recuperación web en vivo, así que es un mecanismo diferente de los datos de entrenamiento de todas formas.
El Ángulo Emergente de AEO
Answer Engine Optimisation es algo real que la gente ahora está rastreando. Ser citado como fuente en respuestas de IA importa más de lo que importaba hace dieciocho meses, aunque sigue siendo difícil de medir limpiamente. La teoría es que el contenido en datos de entrenamiento ayuda a los modelos a desarrollar familiaridad con tu marca o sitio, lo que podría influir en las citas con el tiempo. Es plausible. No está probado.
No tomaría una decisión de bloqueo basada únicamente en esta especulación. Hazla basada en la naturaleza y sensibilidad comercial de tu contenido.
Carga del Servidor: Una Preocupación Legítima para Hosts Más Pequeños
Este es el aburrido y práctico que se pasa por alto en los debates de filosofía.
ClaudeBot y GPTBot pueden ser crawlers agresivos en sitios que encuentran interesantes. Ese cliente WooCommerce de 800 páginas que mencioné? Su alojamiento compartido genuinamente lo estaba sintiendo. Lo movimos a un límite de velocidad de rastreo vía modo de lucha contra bots de Cloudflare en lugar de bloquearlo completamente, lo que lo suavizó sin cortarlos del todo.
Si estás en un host compartido barato con un sitio grande, revisa tus logs. Mira realmente. Puedes hacer esto en cPanel bajo "Raw Access" o mediante una herramienta como GoAccess, que es gratuita y brillante para analizar logs de acceso rápidamente. Si los crawlers de IA aparecen en los 10 solicitantes principales y estás en recursos limitados, eso es una conversación real para tener.
¿En un VPS o servidor dedicado con especificaciones sensatas? Probablemente no sea un problema. Pero no lo asuomas.
Notas Específicas de Plataforma
Sitios WordPress
Yoast SEO y Rank Math ambos te permiten editar robots.txt sin tocar archivos directamente. La interfaz de Yoast bajo SEO > Tools > File Editor está bien para esto. Rank Math tiene una ruta similar bajo General Settings > Edit robots.txt.
Si quieres control más granular, los ajustes de Crawl Optimization en Yoast Premium te permiten reducir la superficie de rastreo innecesaria en general, lo que ayuda en todos los bots.
Shopify y Plataformas Alojadas
Shopify genera automáticamente tu robots.txt.liquid y ha sido actualizado para incluir algunas reglas de crawler de IA, pero tienes control limitado. Hay una ruta de personalización robots.txt.liquid disponible desde 2021, pero requiere edición de tema. No siempre es obvio.
Sitios Estáticos (Gatsby, Astro, Next.js)
Control total. Solo mantén tu robots.txt como archivo estático en tu directorio public y listo. Sin excusas para no tenerlo configurado intencionalmente.
Mi Marco de Recomendación Actual
Diferentes sitios justifican diferentes valores por defecto. Así es como lo pienso ahora:
Permitir por defecto si:
- Tu contenido es principalmente marketing, educativo o enfocado en conciencia sin valor protegido por paywall.
- Eres una pequeña empresa intentando aumentar presencia de marca en todos lados posibles.
- Publicas información disponible libremente y genuinamente se beneficiaría de una distribución más amplia.
- No tienes recursos técnicos para mantener una estrategia de bloqueo matizada.
Bloquear o restringir si:
- Tienes contenido premium protegido por paywall que es técnicamente rastreable (error común).
- Diriges un medio de comunicación, organización de noticias o base de datos donde el contenido es el producto.
- La carga del servidor por rastreadores está impactando mediblemente el rendimiento en hosting limitado.
- Tienes razones legales para restringir la recopilación de datos (contenido médico, legal, financiero en contextos regulados).
Camino intermedio que vale la pena considerar:
- Bloquea rastreadores de entrenamiento de IA del contenido de directorios de alto valor, permítelos en secciones de blog/marketing.
- Usa limitación de velocidad de Cloudflare en lugar de bloqueos completos si la carga es la preocupación.
- Revisa trimestralmente. Esto se mueve rápido y lo que tiene sentido hoy puede cambiar.
Cómo Verificar Realmente Si Te Están Rastreando Ahora
No adivines. Mira.
- Cloudflare Analytics (nivel gratuito) muestra categorías de tráfico de bots y puedes filtrar por user-agent.
- GoAccess ejecutado contra tus logs de acceso sin procesar es la forma más rápida de ver exactamente qué bots están accediendo a qué.
- Google Search Console no te mostrará datos de rastreadores de IA, pero te da una línea base de rastreo para comparación.
- Busca en tu archivo
access.log"GPTBot" o "ClaudeBot" directamente:grep -i "GPTBot" /var/log/nginx/access.log | wc -lte dirá cuántas solicitudes hay en un archivo log dado rápidamente.
Seahawk tuvo un proyecto a principios de este año donde el cliente estaba seguro de que los rastreadores de IA eran la fuente de sus problemas de rendimiento. Ejecuté el análisis de logs. GPTBot había hecho 47 solicitudes en 30 días. Completamente irrelevante. El culpable real era un plugin de respaldo mal configurado ejecutando escaneos de sitio completo cada 6 horas. No dejes que el discurso sobre bots te distraiga de tus logs reales.
FAQ
¿Bloquear GPTBot afecta mi visibilidad en ChatGPT?
Para contenido ya indexado y en datos de entrenamiento, no. Bloquear GPTBot ahora solo afecta futuras ejecuciones de entrenamiento. El conocimiento existente de ChatGPT no cambiará porque agregues una regla en robots.txt hoy. Y el plugin de navegación de ChatGPT hace recuperación web en vivo de todas formas, que se rige por mecanismos diferentes.
Si permito ClaudeBot, ¿me acreditará Anthropic el sitio?
No automáticamente, no. El consumo de datos de entrenamiento no viene con atribución. Si Claude cita tu sitio en una respuesta, eso se basa en cómo fue entrenado y qué recupera en tiempo real, no en un resultado contractual directo de permitir el rastreador.
¿Puedo bloquear solo directorios específicos de rastreadores de IA?
Sí, absolutamente. Tu robots.txt puede ser tan granular como quieras. Disallow: /premium/ para GPTBot mientras dejas /blog/ abierto es sintaxis perfectamente válida. Esto es lo que realmente recomendaría para la mayoría de negocios de contenido.
¿Hay una base legal para exigir que las empresas de IA no entrenen con mi contenido?
Este es territorio genuinamente sin resolver. La demanda de The New York Times contra OpenAI es el caso más prominente trabajando en esto. Por ahora, robots.txt es el mecanismo práctico disponible. Los marcos legales están años atrás de la tecnología.
¿Todos los rastreadores de IA respetan robots.txt?
Los principales de empresas bien financiadas y expuestas a la reputación (OpenAI, Anthropic, Google) generalmente sí. Los raspadores más pequeños y menos responsables a menudo no. robots.txt es un acuerdo entre caballeros, no una barrera técnica.
---
Mira, no hay respuesta universal correcta aquí. He bloqueado rastreadores de IA para algunos clientes y he abierto las puertas explícitamente para otros, a veces el mismo día. La decisión pertenece a la misma conversación que tu estrategia de contenido y tu configuración de alojamiento, no en una política general basada en lo que leíste en Twitter la semana pasada.
Revisa tus logs. Sabe qué te está rastreando. Luego toma una decisión intencional en lugar de heredar un predeterminado que nunca estableciste.