“warning” “\xdcberpr\xfcfung Photolizenzen” (sollte wohl “warning” “Überprüfung Photolizenzen” heißen) tauchte heute Morgen im Access-log vom Apachen auf. Gekommen ist das von einer dynamischen IP-Adresse der T-Com. Der Schweinehund von Crawler macht sich noch nicht einmal die Mühe, die robots.txt auch nur abzurufen, sondern liest einfach mal direkt das Stammverzeichniss.
Ich habe das Gefühl, dass der Crawler noch ganz am Anfang der Entwicklung ist; jedenfalls hoffe ich das für den Auftraggeber: Der Crawler folgt zwar normalen HTTP-Weiterleitungen, folgt aber keinen Links. Eingebetette Bilder lädt er auch nicht runter. Er identifiziert sich nicht eindeutig und scheinbar gibt es vom Urheber keine Internetseite, die erklärt, wer dafür verantwortlich ist und was genau er macht.
Ich werde das mal im Auge behalten; wenn der wiederkommt und mehr runterläd, gibt es ‘ne Beschwerde beim T-Com Abuse.