Sabies que gairebé la meitat dels visitants de la teva web podrien no ser humans? Aquesta onada de visites automatitzades no és inofensiva. Els bots d’IA entren als llocs web en massa, devorant recursos que poden alentir o tombar el teu servidor, falsejant completament les teves estadístiques de visites i apoderant-se del teu contingut propietari sense demanar permís. Per si no n’hi hagués prou, si depens de la publicitat, els teus ingressos podrien desplomar-se.
Això vol dir que has de tancar les portes de la teva web a tota la IA? No necessàriament. Per protegir-te amb èxit, primer has d’entendre que no tots els bots actuen igual, i que hi ha estratègies clau per frenar els que et perjudiquen sense perdre visibilitat a l’internet del futur.
A continuació, us expliquem com diferenciar els tipus de bots i quines mesures pràctiques pots prendre avui mateix per mantenir el control del teu lloc web.
Problemàtica: bots IA
Segons diversos estudis, entre el 30 i el 50% del trànsit d’internet correspon a bots. Amb l’avenç de la IA, es preveu que això anirà a més. Cloudflare assegura que només en un any el trànsit de bots ha pujat aproximadament un 30%.
L’eina de Cloudflare Radar ens permet veure algunes estadístiques a temps real: https://radar.cloudflare.com/bots?dateRange=52w. Aquestes visites provoquen alguns problemes a diverses escales a webs on el trànsit bot és molt elevat:
- Afectació al servidor: Pot afectar greument el rendiment del servidor, i per tant, la disponibilitat del servei. Els crawlers d’IA fan milers de visites en poc temps i consumeixen molts recursos (CPU, RAM i ample de banda), en alguns casos fins a tombar el servidor. Això podria augmentar la despesa al hosting.
- Alteració de mètriques: Les estadístiques d’ús com ara visites, temps de sessió, països, etc, es poden veure alterades pel comportament dels bots.
- Consum de contingut: Contingut propietari es pot veure consumit per aquests bots, cosa que pot portar a plagi, extracció de preus, etc…
- Pèrdua d’ingressos: Les webs que se sustenten mostrant publicitat poden baixar molt la seva monetització (és una cosa que està passant com a tendència general).
Tipus de bots d’IA
Abans d’entrar en possibles solucions cal diferenciar entre dos tipus de bots:
AI Search: Bot que utilitza una IA específica per trobar contingut en una cerca directa d’Internet. Això passa, per exemple, quan ChatGPT mostra “Cercant a Internet”:
En aquests casos, que un usuari trobi el nostre lloc web abans que un altre a ChatGPT dependrà del SEO tradicional.
- AI Crawler: Bot d’IA que s’utilitza per entrenar el model de llenguatge (LLM).
Solucions
Ignorar: En llocs amb poc trànsit o contingut poc rellevant per a entrenament, limpacte sol ser baix. En aquests casos, podem ignorar els bots d’IA, atès que no causarà cap perjudici. De tota manera, limitar l’accés, com veurem al punt següent, no costa gaire i així podem prevenir algun futur problema.
Limitar: Podem limitar l’accés als bots seguint la següent estratègia: bloquejar crawlers, permetre searchers. Amb això aconseguim que, si un usuari escriu un prompt que desencadena una cerca activa per part de la IA (AI Search), ens pugui trobar sense problema, però evitem que la IA ens utilitzi per entrenar el seu model (AI Crawler). Per a la majoria de llocs web, evitar l’entrenament de models d’IA amb el contingut té un impacte pràcticament nul, ja que la seva contribució individual al conjunt de dades és insignificant davant del volum total utilitzat per entrenar aquests models. La limitació requereix una inspecció recurrent ja que surten bots nous constantment.
Bloquejar tot: En aplicacions com intranets, àrees privades o aplicacions internes, podem bloquejar tots els bots sense cap desavantatge. Aquest és el comportament que ha incorporat Cloudflare per defecte. Els bloquejos o limitacions es poden dur a terme de diverses maneres (firewall, robots.txt i d’altres). A Pukka’s seria ideal utilitzar CloudFlare, el qual disposa d’una àrea on pots bloquejar bots específics, o tots si és necessari.
Anotacions finals
El mètode en què la IA s’entrena amb informació pública és un tema debatut actualment, sota el qual de moment no hi ha cap mena de legislació oficial. Grans empreses han bloquejat l’accés a les IA o ho han permès sota tractes milionaris. Les solucions i la informació establerta en aquest document és propensa a canviar en un futur a curt termini, i l’únic que ens garantirà la correcta actuació serà mantenir-nos informats sota una supervisió activa.
