Robot

Wie sammeln wir die Daten ein


Der Tioranat Robot

Was ist ein Robot

Ein Web-Robot oder Crawler kann sich wie ein Benutzer Informationen aus dem Internet holen. Nach zeitlichen Regeln werden dabei bestimmte Seiten automatisch besucht, geladen und analysiert. Ein Robot gibt sich als solcher zu erkennen und versucht eine Webseite nicht zu stören. Weiterhin prüft er ob er unerwünscht ist und stoppt dann seinen Download.

TioranatRobot

Unser Robot nennt sich TioranatRobot.

Wir verwenden als User-Agent TioranatRobot (https://www.tioranat.info/tech/robot). Wir reagieren auf robots.txt. Ein Beispiel uns das Einlesen auf einer Domain zu untersagen wäre folgender Text in einer roboots.txt Datei:
    User-agent: TioranatRobot
    Disallow: /

Wir schauen etwa einmal pro Nacht nach, ob die Datei /tioranat.txt vorhanden ist und lesen diese ein. Dabei können folgende Fälle auftreten:

Inhalt der Datei Server Status Code unser Verhalten
vollständig 200 komplette Aktualiserung der Daten
fehlerhafte Syntax 200 nach 3 Tagen werden die Daten gelöscht
leere Datei 200 alle Daten werden bei uns sofort gelöscht
fehlende Datei 404 alle Daten werden bei uns sofort gelöscht
Server defekt 500 nach 3 Tagen werden die Daten gelöscht

Überprüfen Sie Datei auf Ihrer Webseite mit unserem Webseiten Tester.