Beim jobs.at Crawler handelt es sich um ein automatisiertes Programm, das für das Sammeln von Inhalten verantwortlich ist, die im World Wide Web veröffentlicht werden. Der Crawler folgt auf jeder Website, die er besucht, allen Links auf denen er Inhalte zum Thema Jobs & Karriere vermutet und springt so von Website zu Website. Auf diese Weise sammelt er sämtliche thematisch passenden Inhalte, die er auf öffentlich zugänglichen Seiten findet.
Der Crawler achtet dabei auf die Einhaltung nachfolgender Richtlinien. Für den Fall, dass Sie Fragen zu diesen Richtlinien oder sonstigen Aspekten dieses Crawlers haben, nehmen Sie bitte Kontakt zu uns auf.
Als Betreiber einer Website können Sie steuern, ob und wie Ihre Website von Robots besucht werden
darf. Sie können dabei
Zugriffe von Robots einschränken indem Sie eine robots.txt
Datei im Stammverzeichnis Ihrer Domain bereitstellen. Zum Beispiel
wenn Sie nicht möchten, dass Seiten unter dem Pfad von unserem jobs.at Robot aufgerufen werden, können Sie das mit
dem folgenden Eintrag verhindern:
User-agent: karriereatBot Disallow: /admin/
Um das Indizieren einzelner Seiten gezielt zu steuern, können Sie Meta Tags für Robots verwenden. Mittels noindex verhindern Sie, dass die aktuelle Seite indiziert wird, während nofollow das Verfolgen von Links auf der Seite verhindert. Diese Einstellungen werden vom jobs.at Robot berücksichtigt. Wenn Sie eine Einzelseite nicht indizieren wollen, empfiehlt sich diese Variante:
<meta name="robots" content="noindex, follow" />
Das alleinige Ziel des jobs.at Robots ist es, Jobs auf Websites zu finden. Wenn eine Website keine Jobs enthält, wird dies von unserem Robot bereits nach wenigen Einzelseiten erkannt, damit keine weiteren Seiten aufgerufen werden müssen. Diese Methode wird "Topical Crawling" genannt. Zusätzlich wird das Intervall der Seitenaufrufe eingeschränkt, sodass zwischen zwei Zugriffen mindestens eine Sekunde liegt bzw. mindestens das Doppelte der Antwortzeit Ihrer Seite.