Al momento possiamo sicuramente valutare di aggiungere al robots.txt le direttive anti-scraping. Ma ho i miei seri dubbi che vengano rispettate, soprattutto considerata la fame di dati che hanno e gli interessi economici in gioco. D'altro canto, non ho nemmeno intenzione di mettermi a impazzire mettendo blocchi che magari funzionano anche oggi, ma che richiederebbero manutenzione costante per continuare a funzionare anche domani.
Secondo questo sviluppatore Russo, per bloccare gli scraper AI non è necessario Anubis (di cui avevo scritto qualche tempo fa)
CUB3 ha scritto: lun apr 14, 2025 9:26 am
Per bloccare lo scraping delle IA avevo letto di Anubis ...
Ma, dato che gli scraper AI, per il momento, non supportano i javascript, è sufficiente impostare un cookie tramite questo linguaggio per bloccarli.
Zane, che dici, è una soluzione attuabile anche per Turbolab?
Re: Turbolab & IA: quale politica?
Inviato: dom nov 02, 2025 6:10 pm
da Zane
Vorrei non-attivare Cloudflare (vecchie esperienze negative, e sui siti di alcuni grossi clienti sul quale lo sto attivando al lavoro non è che proprio sia "efficacissimo"...)
In merito all'altra idea cookie-based: così di primo acchito mi preoccupano le implicazioni SEO (Googlebot e crawler vari riescono comunque a indicizzare?). Boh, da capire...
Re: Turbolab & IA: quale politica?
Inviato: lun nov 03, 2025 8:23 am
da CUB3
Non avevo pensato ai bot "buoni"...
Non sono molto pratico di queste cose, quindi ignorami pure se dico una scemenza, ma eventualmente sarebbe possibile autorizzarli senza il cookie in JavaScript magari con una regola basata sull'user-agent?
Re: Turbolab & IA: quale politica?
Inviato: mar nov 04, 2025 6:56 am
da Zane
Certo! Ma poi cosa succede se i "bot cattivi" scelgono di usare uno user-agent diverso? Succede che inizia una corsa a cambiare, modificare, cercare di intercettare, ... gioco che porta via un sacco di tempo (che io non ho)
Re: Turbolab & IA: quale politica?
Inviato: mar nov 04, 2025 7:46 am
da CUB3
Più che altro pensavo che sarebbe stato tedioso (e dispendioso in termini di tempo) tenere aggiornata la lista degli user-agent dei bot buoni ma non ho idea ogni quanto si aggiornino ne se c'è un modo per automatizzare l'aggiornamento.
Non mi preoccuperei tanto dei bot cattivi che si spacciano per buoni, considerando che comunque adesso (correggimi se sbaglio) i bot non sono limitati in alcun modo, pensavo fosse meglio impostare un paio di filtri per provare almeno a limitarne alcuni di quelli cattivi... insomma agire, sempre e comunque, come recita il detto: "minima spesa (di tempo), massima resa (possibile!)"
Re: Turbolab & IA: quale politica?
Inviato: sab nov 08, 2025 2:01 pm
da Ping
CUB3 ha scritto: dom apr 13, 2025 5:54 pm
Dato che il tema è senza dubbio di attualità, mi chiedevo (e ora lo chiedo a Zane e a tutta la comunità) qual'è la politica da seguire riguardo alle IA?
(...)
Voi cosa ne pensate?
Argomento interessante!
Sono un profano in materia per cui mi limiterò a leggervi
Non avevo pensato ai bot "buoni"...
