Robot

Wie sammeln wir die Daten ein


Was ist ein Robot

Ein Web-Robot oder Crawler kann sich wie ein Benutzer Informationen aus dem Internet holen. Nach zeitlichen Regeln werden dabei bestimmte Seiten automatisch besucht, geladen und analysiert. Ein Robot gibt sich als solcher zu erkennen und versucht eine Webseite nicht zu stören. Weiterhin prüft er ob er unerwünscht ist und stoppt dann seinen Download.

TioranatRobot

Unser Robot nennt sich TioranatRobot.

Wir verwenden als User-Agent TioranatRobot (https://www.tioranat.info/tech/robot). Wir reagieren auf robots.txt.

Wir schauen etwa einmal pro Nacht nach, ob die Datei /tioranat.txt vorhanden ist und lesen diese ein. Dabei können folgende Fälle auftreten:

Inhalt der Datei Server Status Code unser Verhalten
vollständig 200 komplette Aktualisierung der Daten
fehlerhafte Syntax 200 nach 3 Tagen werden die Daten gelöscht
leere Datei 200 alle Daten werden bei uns sofort gelöscht
fehlende Datei 404 alle Daten werden bei uns sofort gelöscht
Server defekt 500 nach 3 Tagen werden die Daten gelöscht

Überprüfen Sie die Datei auf Ihrer Webseite mit unserer Testseite.