¿Sabías que casi la mitad de los visitantes de tu web podrían no ser humanos? Esta oleada de visitas automatizadas no es inofensiva. Los bots de IA entran a los sitios web en masa, devorando recursos que pueden ralentizar o tumbar tu servidor , falseando por completo tus estadísticas de visitas y adueñándose de tu contenido propietario sin pedir permiso. Por si fuera poco, si dependes de la publicidad, tus ingresos podrían desplomarse.
¿Significa esto que debes cerrar las puertas de tu web a toda la IA? No necesariamente. Para protegerte con éxito, primero debes entender que no todos los bots actúan igual, y que existen estrategias clave para frenar a los que te perjudican sin perder visibilidad en el internet del futuro.
A continuación, te explicamos cómo diferenciar los tipos de bots y qué medidas prácticas puedes tomar hoy mismo para mantener el control de tu sitio web.
Problemática: bots IA
Según diversos estudios, entre el 30% y el 50% del tráfico de internet corresponde a bots. Con el avance de la IA, se prevé que esto irá a más. Cloudflare asegura que solo en un año el tráfico de bots ha subido aproximadamente un 30%.
La herramienta de Cloudflare Radar nos permite ver algunas estadísticas a tiempo real: https://radar.cloudflare.com/bots?dateRange=52w. Estas visitas provocan algunos problemas a varias escalas en webs donde el tráfico bot es muy elevado:
- Afectación al servidor: Puede afectar gravemente al rendimiento del servidor, y por tanto, a la disponibilidad del servicio. Los crawlers de IA hacen miles de visitas en poco tiempo y consumen muchos recursos (CPU, RAM y ancho de banda), en algunos casos hasta tumbar el servidor. Esto podría aumentar el gasto en el hosting.
- Alteración de métricas: Las estadísticas de uso como visitas, tiempo de sesión, países, etc, pueden verse alteradas por el comportamiento de los bots.
- Consumo de contenido: Contenido propietario puede verse consumido por estos bots, lo que puede llevar a plagio, extracción de precios, etc…
- Pérdida de ingresos: Las webs que se sustentan mostrando publicidad pueden bajar mucho su monetización (es algo que está sucediendo como tendencia general).
Tipos de bots de IA
Antes de entrar en posibles soluciones hace falta diferenciar entre dos tipos de bot:
AI Search: Bot que utiliza una IA específica para encontrar contenido en una búsqueda directa de internet. Esto sucede, por ejemplo, cuando ChatGPT muestra “Buscando en internet”:
En estos casos, que un usuario encuentre nuestro sitio web antes que otro en ChatGPT dependerá del SEO tradicional
AI Crawler:
Bot de IA que se utiliza para entrenar su modelo de lenguaje (LLM).
Soluciones
- Ignorar: En sitios con poco tráfico o contenido poco relevante para entrenamiento, el impacto suele ser bajo. En estos casos, podemos ignorar los bots de IA, dado que no va a causar ningún perjuicio. De todos modos, limitar el acceso, como veremos en el siguiente punto, no cuesta mucho y así podemos prevenir algún futuro problema.
- Limitar: Podemos limitar el acceso a los bots siguiendo la siguiente estrategia: bloquear crawlers, permitir searchers. Con esto conseguimos que, si un usuario escribe un prompt que desencadena una búsqueda activa por parte de la IA (AI Search), pueda encontrarnos sin problema, pero evitamos que la IA nos utilice para entrenar su modelo (AI Crawler). Para la mayoría de sitios web, evitar el entrenamiento de modelos de IA con su contenido tiene un impacto prácticamente nulo, ya que su contribución individual al conjunto de datos es insignificante frente al volumen total utilizado para entrenar estos modelos. La limitación requiere de una inspección recurrente ya que salen bots nuevos constantemente.
- Bloquear todo: En aplicaciones como intranets, áreas privadas o aplicaciones internas, podemos bloquear todos los bots sin ninguna desventaja. Este es el comportamiento que ha incorporado Cloudflare por defecto. Los bloqueos o limitaciones se pueden llevar a cabo de varias maneras (firewall, robots.txt y otros). En Pukka’s lo ideal sería utilizar CloudFlare, el cual dispone de un área donde puedes bloquear bots específicos, o todos si es necesario.
Anotaciones finales
El método en el que la IA se entrena con información pública es un tema debatido actualmente, bajo el que de momento no hay ningún tipo de legislación oficial. Grandes empresas han bloqueado el acceso a las IAs, o lo han permitido bajo tratos millonarios. Las soluciones y la información establecida en este documento es propensa a cambiar en un futuro a corto plazo, y lo único que nos garantizará la correcta actuación será mantenernos informados bajo una supervisión activa.
