-
-
El robot DotBot era l'únic que seguia intentant "escrapejar" mastodont.cat i dic intentant perquè l'estava bloquejant.
Uncategorized
1
-
-
Amb un petit programa Python, estic desant en una base de dades tota la informació dels logs de nginx des del primer dia en aquest servidor actual.
Uncategorized
1
-
Fins a 658 diferents IP del robot d'Apple (Applebot/0.1; +http://www.apple.com/go/applebot) estan llistades en el log de nginx però no intenten xafardejar ni tuts, ni enllaços ni res, només miren robots.txt a veure si tenen permís per fer-ho.
Uncategorized
1
-
Al bot de #Amazon no li preocupa gens que l'estigui bloquejant en cada intent que fa, ell segueix al mateix ritme.
Uncategorized
1
-
Bé, per ara ho deixo aquí, tinc la informació prou gràfica de les xafarderies dels robots com ara el de Amazon que intenten obtenir tuts, enllaços, avatars, capçaleres etc de mastodont.cat.
Uncategorized
1
-
És més fàcil mirar una gràfica que filtrar logs per veure quants robots han intentat xafardejar mastodont.cat.
Uncategorized
1
-
-
-
-
