Ik krijg ineens deze bot op bezoek: Python-urllib. En die gaat me toch te keer. Meer dan 300.000 bits al deze maand en meer dan 3 gb.
Weet iemand wat dit is? Moet ik die blocken? En zo ja hoe dan?

Ik heb even in wat forums gekeken en zie dat ie via robots.txt geblocked kan worden. Maar op een ander forum zag ik dat het wel eens de Google Bot kan zijn…
Iemand ervaring mee?