Al momento possiamo sicuramente valutare di aggiungere al robots.txt le direttive anti-scraping. Ma ho i miei seri dubbi che vengano rispettate, soprattutto considerata la fame di dati che hanno e gli interessi economici in gioco. D'altro canto, non ho nemmeno intenzione di mettermi a impazzire mettendo blocchi che magari funzionano anche oggi, ma che richiederebbero manutenzione costante per continuare a funzionare anche domani.
Vorrei non-attivare Cloudflare (vecchie esperienze negative, e sui siti di alcuni grossi clienti sul quale lo sto attivando al lavoro non è che proprio sia "efficacissimo"...)
In merito all'altra idea cookie-based: così di primo acchito mi preoccupano le implicazioni SEO (Googlebot e crawler vari riescono comunque a indicizzare?). Boh, da capire...
Non avevo pensato ai bot "buoni"...
Non sono molto pratico di queste cose, quindi ignorami pure se dico una scemenza, ma eventualmente sarebbe possibile autorizzarli senza il cookie in JavaScript magari con una regola basata sull'user-agent?
"Let me tell you a secret: when you hear that the machine is “smart”, what it actually means is that it’s exploitable." Mikko Hypponen
Certo! Ma poi cosa succede se i "bot cattivi" scelgono di usare uno user-agent diverso? Succede che inizia una corsa a cambiare, modificare, cercare di intercettare, ... gioco che porta via un sacco di tempo (che io non ho)
Più che altro pensavo che sarebbe stato tedioso (e dispendioso in termini di tempo) tenere aggiornata la lista degli user-agent dei bot buoni ma non ho idea ogni quanto si aggiornino ne se c'è un modo per automatizzare l'aggiornamento.
Non mi preoccuperei tanto dei bot cattivi che si spacciano per buoni, considerando che comunque adesso (correggimi se sbaglio) i bot non sono limitati in alcun modo, pensavo fosse meglio impostare un paio di filtri per provare almeno a limitarne alcuni di quelli cattivi... insomma agire, sempre e comunque, come recita il detto: "minima spesa (di tempo), massima resa (possibile!)"
"Let me tell you a secret: when you hear that the machine is “smart”, what it actually means is that it’s exploitable." Mikko Hypponen
Inserendo un messaggio, dichiari di aver letto e accettato il regolamento di partecipazione.
Nello specifico, sei consapevole che ti stai assumendo personalmente la totale responsabilità delle tue affermazioni, anche in sede civile e/o penale,
manlevando i gestori di questo sito da ogni coinvolgimento e/o pretesa di rivalsa.
Dichiari inoltre di essere consapevole che il messaggio sarà visibile pubblicamente, accetti di diffonderlo con licenza
CC BY-NC-SA 3.0 (con attribuzione a "TurboLab.it") e rinunci ad ogni forma di compensazione (economica o altro).
Rinunci inoltre esplicitamente a qualsiasi pretesa di cancellazione del messaggio.
Non avevo pensato ai bot "buoni"...
