El robot DotBot era l'únic que seguia intentant "escrapejar" mastodont.cat i dic intentant perquè l'estava bloquejant.
-
El robot DotBot era l'únic que seguia intentant "escrapejar" mastodont.cat i dic intentant perquè l'estava bloquejant.
L'he afegit a la llista de robots que no vull que "escrapejin"...https://mastodont.cat/robots.txt
...a les 10:22 i 10:23 ha xarfadejat dos tuts (sense èxit pel meu bloqueig), a les 11 el robot ja ha vist que era a robots.txt i ha parat de xafardejar. A les 11:44 ha tornat a mirar robots.txt no sé si per assegurar-se però ja no xafardeja.
-
C caelumtangi@mastodont.cat shared this topic
-
El robot DotBot era l'únic que seguia intentant "escrapejar" mastodont.cat i dic intentant perquè l'estava bloquejant.
L'he afegit a la llista de robots que no vull que "escrapejin"...https://mastodont.cat/robots.txt
...a les 10:22 i 10:23 ha xarfadejat dos tuts (sense èxit pel meu bloqueig), a les 11 el robot ja ha vist que era a robots.txt i ha parat de xafardejar. A les 11:44 ha tornat a mirar robots.txt no sé si per assegurar-se però ja no xafardeja.
@spla saps que llegit des de l'exterior els teus tuts semblen un guió d'una pel·lícula? Scraping CAT
(gràcies) -
@spla saps que llegit des de l'exterior els teus tuts semblen un guió d'una pel·lícula? Scraping CAT
(gràcies)@Caelumtangi
és una serie! -
@Caelumtangi
és una serie!
!