Crawler

Beim jobs.at Crawler handelt es sich um ein automatisiertes Programm, das für das Sammeln von Inhalten verantwortlich ist, die im World Wide Web veröffentlicht werden. Der Crawler folgt auf jeder Website, die er besucht, allen Links auf denen er Inhalte zum Thema Jobs & Karriere vermutet und springt so von Website zu Website. Auf diese Weise sammelt er sämtliche thematisch passenden Inhalte, die er auf öffentlich zugänglichen Seiten findet.

Der Crawler achtet dabei auf die Einhaltung nachfolgender Richtlinien. Für den Fall, dass Sie Fragen zu diesen Richtlinien oder sonstigen Aspekten dieses Crawlers haben, nehmen Sie bitte Kontakt zu uns auf.

Robots Exclusion Standard

Als Betreiber einer Website können Sie steuern, ob und wie Ihre Website von Robots besucht werden darf. Sie können dabei Zugriffe von Robots einschränken indem Sie eine robots.txt Datei im Stammverzeichnis Ihrer Domain bereitstellen. Zum Beispiel wenn Sie nicht möchten, dass Seiten unter dem Pfad von unserem jobs.at Robot aufgerufen werden, können Sie das mit dem folgenden Eintrag verhindern:

User-agent: karriereatBot Disallow: /admin/

Meta Tags

Um das Indizieren einzelner Seiten gezielt zu steuern, können Sie Meta Tags für Robots verwenden. Mittels noindex verhindern Sie, dass die aktuelle Seite indiziert wird, während nofollow das Verfolgen von Links auf der Seite verhindert. Diese Einstellungen werden vom jobs.at Robot berücksichtigt. Wenn Sie eine Einzelseite nicht indizieren wollen, empfiehlt sich diese Variante:

<meta name="robots" content="noindex, follow" />

Politeness

Das alleinige Ziel des jobs.at Robots ist es, Jobs auf Websites zu finden. Wenn eine Website keine Jobs enthält, wird dies von unserem Robot bereits nach wenigen Einzelseiten erkannt, damit keine weiteren Seiten aufgerufen werden müssen. Diese Methode wird "Topical Crawling" genannt. Zusätzlich wird das Intervall der Seitenaufrufe eingeschränkt, sodass zwischen zwei Zugriffen mindestens eine Sekunde liegt bzw. mindestens das Doppelte der Antwortzeit Ihrer Seite.