#Amazon és el bot més agressiu a l'hora xafardejar mastodont.cat:
-
#Amazon és el bot més agressiu xafardejant mastodont.cat en un dia
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" |wc -l
1847318.473 "escrapejades" en total, principalment enllaços a mitjans externs però:
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/@" | wc -l
907
o sigui, 907 intents d'obtenir tuts de diversos usuaris.cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/tags" | wc -l
271 -> tuts d'etiquetes -
#Amazon és el bot més agressiu xafardejant mastodont.cat en un dia
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" |wc -l
1847318.473 "escrapejades" en total, principalment enllaços a mitjans externs però:
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/@" | wc -l
907
o sigui, 907 intents d'obtenir tuts de diversos usuaris.cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/tags" | wc -l
271 -> tuts d'etiquetes@spla fem una etiqueta exclusivament per aquest bot, i l' insultem!
-
C caelumtangi@mastodont.cat shared this topic
-
@spla fem una etiqueta exclusivament per aquest bot, i l' insultem!
-
#Amazon és el bot més agressiu xafardejant mastodont.cat en un dia
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" |wc -l
1847318.473 "escrapejades" en total, principalment enllaços a mitjans externs però:
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/@" | wc -l
907
o sigui, 907 intents d'obtenir tuts de diversos usuaris.cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/tags" | wc -l
271 -> tuts d'etiquetesDes de les 7 de la tarda d'ahir, #fail2ban està bloquejant automàticament totes les IPs de bots xafarders, no només Amazonbot. Ara mateix ja ha bloquejat un total de 1.171 IP, bloqueig actiu de 327.
Edito: cap robot obté res de mastodont.cat, només "veuen" que s'ha interromput la connexió gràcies a una configuració específica de nginx (el programari que serveix continguts). -
#Amazon és el bot més agressiu xafardejant mastodont.cat en un dia
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" |wc -l
1847318.473 "escrapejades" en total, principalment enllaços a mitjans externs però:
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/@" | wc -l
907
o sigui, 907 intents d'obtenir tuts de diversos usuaris.cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/tags" | wc -l
271 -> tuts d'etiquetes@spla Repassa la rotació de logs, no sigui que de tant bloquejar t'ompli el disc de porquería
-
@spla Repassa la rotació de logs, no sigui que de tant bloquejar t'ompli el disc de porquería
@maquinari_cat és automàtica des de sempre
-
#Amazon és el bot més agressiu xafardejant mastodont.cat en un dia
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" |wc -l
1847318.473 "escrapejades" en total, principalment enllaços a mitjans externs però:
cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/@" | wc -l
907
o sigui, 907 intents d'obtenir tuts de diversos usuaris.cat /var/log/nginx/mastodont.cat.access.log.1 | grep "Amazonbot" | grep "/tags" | wc -l
271 -> tuts d'etiquetes@spla Has pensat en Anubis per bloquejar els bots? Diferents projects de FOSS l'ha trobat molt efectiu
(i una nota: es diu "scraping," no "scrapping." "scrapping" vol dir una cosa completament diferent)
-
@spla Has pensat en Anubis per bloquejar els bots? Diferents projects de FOSS l'ha trobat molt efectiu
(i una nota: es diu "scraping," no "scrapping." "scrapping" vol dir una cosa completament diferent)
@worr vaig estar mirant Anubis però no sé com s'integraria amb un servidor Mastodon, no crec que agradi massa veure la pàgina de verificació d'Anubis abans de veure el contingut que es vol.
Gràcies per la correcció a "scraping"! -
Des de les 7 de la tarda d'ahir, #fail2ban està bloquejant automàticament totes les IPs de bots xafarders, no només Amazonbot. Ara mateix ja ha bloquejat un total de 1.171 IP, bloqueig actiu de 327.
Edito: cap robot obté res de mastodont.cat, només "veuen" que s'ha interromput la connexió gràcies a una configuració específica de nginx (el programari que serveix continguts).
