Molts tuts denunciant l'scrapping de #Meta però el bot que fa l'scrapping més agressiu és el de Amazon:

[spla@mastodont.cat]

Molts tuts denunciant l'scraping de #Meta però el bot que fa l'scraping més agressiu és el de Amazon:

grep 'meta-externalagent' /var/log/nginx/mastodont.cat.access.log | awk '{print $1}' | wc -l
857
grep 'Amazonbot' /var/log/nginx/mastodont.cat.access.log | awk '{print $1}' | wc -l
11823
En el que portem de dia, Meta ha fet 857 "scraps" però Amazon 11.823.

#scraping

[xorsch@mastodont.cat]

@spla

Deu ni do ... han d'estar generant mes tràfic que el porno i l'spam junts.

Com no existeixi un mecanisme per fer una denúncia dels fets i tingui conseqüències reals, els que tinguin serveis exposats ho patireu.

Són com atacs DDOS legals?

[spla@mastodont.cat]

@xorsch aquest mati he activat una configuració de nginx que els hi planta cara, quan intenten l'scrap no obtenen res, només que la connexió s'ha tallat.
Sí, seria com un DDOS, potser alegal?

[jolupa@misskey.canpavon.cat]

@spla@mastodont.cat Gràcies a deu no tinc la visita de cap bot, ni a Misskey ni al bloc. Al robots.txt tinc prohibit que cap bot, sigui el que sigui faci res. I aquest mati he posat les regles al Nginx per si de cas... Mai se sap... Sort amb aquesta lluita!

[spla@mastodont.cat]

@jolupa gràcies!