Wie sammeln wir die Daten ein
Ein Web-Robot oder Crawler kann sich wie ein Benutzer Informationen aus dem Internet holen. Nach zeitlichen Regeln werden dabei bestimmte Seiten automatisch besucht, geladen und analysiert. Ein Robot gibt sich als solcher zu erkennen und versucht eine Webseite nicht zu stören. Weiterhin prüft er ob er unerwünscht ist und stoppt dann seinen Download.
Unser Robot nennt sich TioranatRobot.
TioranatRobot (https://www.tioranat.info/tech/robot). Wir reagieren auf
robots.txt. Ein Beispiel uns das Einlesen auf einer Domain zu untersagen wäre
folgender Text in einer roboots.txt Datei:
User-agent: TioranatRobot
Disallow: /
Wir schauen etwa einmal pro Nacht nach, ob die Datei /tioranat.txt
vorhanden ist und lesen diese ein. Dabei können folgende Fälle auftreten:
| Inhalt der Datei | Server Status Code | unser Verhalten |
|---|---|---|
| vollständig | 200 | komplette Aktualiserung der Daten |
| fehlerhafte Syntax | 200 | nach 3 Tagen werden die Daten gelöscht |
| leere Datei | 200 | alle Daten werden bei uns sofort gelöscht |
| fehlende Datei | 404 | alle Daten werden bei uns sofort gelöscht |
| Server defekt | 500 | nach 3 Tagen werden die Daten gelöscht |
Überprüfen Sie Datei auf Ihrer Webseite mit unserem Webseiten Tester.