robots.txt auf Domino-Server
Kategorie Domino Spider Suchmaschine SEO ServerEigentlich ist es eine Belanglosigkeit, die aber einem Suchmaschinenoptimierer, der die seltene Aufgabe hat, für eine Web-Seite, die auf einem Domino-Web-Server liegt, eine Web-Seite zu optimieren oder sicherer zu machen, eine Hilfe sein könnte. Google (und damit wohl auch viele andere Crawler, Robots, Spider) respektieren die Ausschlüsse in der robots.txt auf einem Domino-Server. Dafür platziert man die Datei ins Verzeichnis domino/html/ wie auf Wildunknown beschrieben.
Erlaubt man nun den Crawlern den Zugriff, werden die Seiten indiziert, wie als wäre robots.txt nicht da. Verbietet man die dem Crawler den Zugriff wird er tatsächlich (was auch erwartbar ist) nicht in den Index aufgenommen.
Eine schon im Suchindex vorhandene Web-Seite wie im Beispiel "bestehendeSeite.nsf" wird aus dem Index wohl nach diesem Versuch nicht gelöscht: Es sind immer noch 143 Seiten im Index (durch site:www.heyn.biz/verz/bestehendeSeite.nsf geprüft). Eine neue Web-Seite hingegen wird tatsächlich nicht aufgenommen, wenn man sie von Anfang an verbieten lässt. Daran hält sich dann Google wie ich an Beispiel "neueSeite.nsf" beobachten konnte". Bis heute ist kein Eintrag im Google-Index.
Ich werde mal in ein paar Monaten prüfen, ob dann nach wie vor 143 Seiten gelistet sind und hier kommentieren...
