Beim jobs.at Crawler handelt es sich um ein automatisiertes Programm, das für das Sammeln von Inhalten verantwortlich ist, die im World Wide Web veröffentlicht werden. Der Crawler folgt auf jeder Website, die er besucht, allen Links auf denen er Inhalte zum Thema Jobs & Karriere vermutet und springt so von Website zu Website. Auf diese Weise sammelt er sämtliche thematisch passenden Inhalte, die er auf öffentlich zugänglichen Seiten findet.
Der Crawler achtet dabei auf die Einhaltung nachfolgender Richtlinien. Für den Fall, dass Sie Fragen zu diesen Richtlinien oder sonstigen Aspekten dieses Crawlers haben, nehmen Sie bitte Kontakt zu uns auf.
Als Betreiber einer Website können Sie steuern, ob und wie Ihre Website von Robots besucht werden darf. Sie können
dabei Zugriffe von Robots einschränken, indem Sie eine Datei robots.txt im Root-Verzeichnis Ihrer Domain
bereitstellen. Wenn Sie zum Beispiel verhindern wollen, dass Seiten unter dem Pfad /admin vom jobs.at Robot
aufgerufen werden, können Sie dies über folgenden Eintrag erzielen:
User-agent: karriereatBot
Disallow: /admin/Um das Indizieren einzelner Seiten gezielt zu steuern, können Sie Meta Tags für Robots verwenden. Mittels noindex verhindern Sie, dass die aktuelle Seite indiziert wird, während nofollow das Verfolgen von Links auf der Seite verhindert. Diese Einstellungen werden vom jobs.at Robot berücksichtigt. Wenn Sie eine Einzelseite nicht indizieren wollen, empfiehlt sich diese Variante:
<meta name="robots" content="noindex, follow" />Das alleinige Ziel des jobs.at Robots ist es, Jobs auf Websites zu finden. Wenn eine Website keine Jobs enthält, wird dies von unserem Robot bereits nach wenigen Einzelseiten erkannt, damit keine weiteren Seiten aufgerufen werden müssen. Diese Methode wird "Topical Crawling" genannt. Zusätzlich wird das Intervall der Seitenaufrufe eingeschränkt, sodass zwischen zwei Zugriffen mindestens eine Sekunde liegt bzw. mindestens das Doppelte der Antwortzeit Ihrer Seite.