Glossar: Crawler

Stephanie Sachs
Oktober 2021

Anzeigencrawler sind Programme, die insbesondere von Jobsuchmaschinen und Karrierenetzwerken wie XING und LinkedIn genutzt werden, um Stellenanzeigen aus dem Internet „einzusammeln“ und auf der eigenen Plattform einzuspeisen.

Vorteile und Nachteile

Der Vorteil für ausschreibende Unternehmen:
Anzeigen erhalten so kostenlose Reichweite.

… und für die Portale:
Gesteigertes Anzeigenvolumen und dadurch mehr Traffic auf ihren Seiten.

Die Nachteile für ausschreibende Unternehmen:
Die Qualität der aggregierten Anzeigen ist oftmals eher schlecht. Insbesondere dann, wenn sie in mehreren Stufen (von der Karriereseite eines Unternehmens in die Jobsuchmaschine, von der Jobsuchmaschine ins Karrierenetzwerk, vom Karrierenetzwerk zu einer weiteren Suchmaschine usw.) gecrawlt wurden, bevor sie in der betreffenden Suchergebnisliste auftauchen.

Da der Prozess vollkommen automatisiert abläuft, sind manuelle Korrekturen i. d. R. nicht möglich. Einige Portale bieten aber zumindest die Option an, fehlerhafte Anzeigen zu „melden“ und diese (zumindest zeitweise, bis der nächste Crawlingdurchlauf beginnt) entfernen zu lassen.

Crawler erkennen

Anzeichen einer (schlecht) gecrawlten Anzeige sind:

  • Zerschossene Formatierungen
  • Unvollständiger Inhalt
  • Falsche Firmierung
  • Unpassender Einsatzort
  • Mehrfaches Erscheinen in der Trefferliste
  • Fehlende grafische Elemente
  • Kein Logo in der Suchergebnisliste

Gecrawlte Anzeigen sind nicht zu verwechseln mit Anzeigen, die über ein Partnernetzwerk eines Portals gespiegelt werden. Ein Partnernetzwerk unterliegt zwar auch technischen Automatismen, die Partner werden jedoch immer direkt bespielt, sind nach bestimmten Kriterien ausgewählt und die Anzeigen erhalten i. d. R. eine gewisse Qualitätssicherung (z. B. eine Dublettenprüfung)

Schlüsselworte Jobportal, Stellenanzeigen, Traffic