Wie sammeln wir die Daten ein
Ein Web-Robot oder Crawler kann sich wie ein Benutzer Informationen aus dem Internet holen. Nach zeitlichen Regeln werden dabei bestimmte Seiten automatisch besucht, geladen und analysiert. Ein Robot gibt sich als solcher zu erkennen und versucht eine Webseite nicht zu stören. Weiterhin prüft er ob er unerwünscht ist und stoppt dann seinen Download.
Unser Robot nennt sich TioranatRobot.
TioranatRobot (https://www.tioranat.info/tech/robot). Wir reagieren auf
robots.txt.
Wir schauen etwa einmal pro Nacht nach, ob die Datei /tioranat.txt
vorhanden ist und lesen diese ein. Dabei können folgende Fälle auftreten:
| Inhalt der Datei | Server Status Code | unser Verhalten |
|---|---|---|
| vollständig | 200 | komplette Aktualisierung der Daten |
| fehlerhafte Syntax | 200 | nach 3 Tagen werden die Daten gelöscht |
| leere Datei | 200 | alle Daten werden bei uns sofort gelöscht |
| fehlende Datei | 404 | alle Daten werden bei uns sofort gelöscht |
| Server defekt | 500 | nach 3 Tagen werden die Daten gelöscht |
Überprüfen Sie die Datei auf Ihrer Webseite mit unserer Testseite.