Beim jobs.at Crawler handelt es sich um ein automatisiertes Programm, das für das Sammeln von Inhalten verantwortlich ist, die im World Wide Web veröffentlicht werden. Der Crawler folgt auf jeder Website, die er besucht, allen Links auf denen er Inhalte zum Thema Jobs & Karriere vermutet und springt so von Website zu Website. Auf diese Weise sammelt er sämtliche thematisch passenden Inhalte, die er auf öffentlich zugänglichen Seiten findet.
Der Crawler achtet dabei auf die Einhaltung nachfolgender Richtlinien. Für den Fall, dass Sie Fragen zu diesen Richtlinien oder sonstigen Aspekten dieses Crawlers haben, nehmen Sie bitte Kontakt zu uns auf.
Als Betreiber einer Website können Sie steuern, ob und wie Ihre Website von Robots besucht werden
darf. Sie können dabei
Zugriffe von Robots einschränken by providing a robots.txt file in the root directory of your domain. For example,
if you want to prevent pages from being invoked under the path / admin by the jobs.at Robot, you can do
so via the following entry:
User-agent: karriereatBot Disallow: /admin/Um das Indizieren einzelner Seiten gezielt zu steuern, können Sie Meta Tags für Robots verwenden. Mittels noindex verhindern Sie, dass die aktuelle Seite indiziert wird, während nofollow das Verfolgen von Links auf der Seite verhindert. Diese Einstellungen werden vom jobs.at Robot berücksichtigt. Wenn Sie eine Einzelseite nicht indizieren wollen, empfiehlt sich diese Variante:
<meta name="robots" content="noindex, follow" />Das alleinige Ziel des jobs.at Robots ist es, Jobs auf Websites zu finden. Wenn eine Website keine Jobs enthält, wird dies von unserem Robot bereits nach wenigen Einzelseiten erkannt, damit keine weiteren Seiten aufgerufen werden müssen. Diese Methode wird "Topical Crawling" genannt. Zusätzlich wird das Intervall der Seitenaufrufe eingeschränkt, sodass zwischen zwei Zugriffen mindestens eine Sekunde liegt bzw. mindestens das Doppelte der Antwortzeit Ihrer Seite.