Index bei Google verhindern

Das mal gelesen?

http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=93708

jetzt schon... aber irgendwie verwirrend...  ??? ??? ???

Muss ich jetzt eine Seite bestätigen, damit ich die mittels robots.txt sperren kann... und die Frage ist natürlich, ob mich dann die anderen Suchmaschinen auch so beachten bzw. übersehen, wie ich das wünsche... ist halt nur auf Google bezogen jetzt die Antwort.

Die Frage beim Bestätigen ist dann auch, in welche Datei ich denn dann diese Meta-Tags einfügen muss, um dann entsprechend eine Seite bestätigen zu lassen...

Und jetzt such ich erst mal weiterhin nach den Dateien, die in Tikiwiki standardmässig geladen werden und wo die Meta-Tags drin sind ;-)
 

nein Du brauchst nichts zu bestätigen, um die robots.txt zu verwenden. Die meissten Suchmaschinen suchen beim Crawlen erst mal nach der robots.txt. Ist sie vorhanden, schauen sie darin nach was sie crawlen dürfen und was nicht. Was sie dann nicht crawlen dürfen, verschwindet irgendwann auch aus dem Index der Suchmaschine. Allerdings ist die robots.txt weder ein Garant dafür dass sich jede Suchmaschine daran hält (google hält sich dran und einige andere auch) noch werden mit Erstellen der robots.txt sofort alle Seiten aus dem Index genommen. Das braucht seine Zeit.

Wenn Du neue Seiten nur zum Testen erstellst und sie niemand außer Dir sehen können soll, solltest Du sie mit einem Passwort versehen. Das geht je nach Hoster über eine .htaccess oder über die Administration des Webspaces. Bei manchen Anbietern gehts gar nicht.
 

Weitere Möglichkeit neben der robot.txt:
Meta Tag mit folgender Angabe:
<META NAME="robots" CONTENT="noindex,nofollow">

Hallo,

habe mich jetzt mit den META-Tags noch mal genauer befasst... und noch folgendes gefunden bzw. einige Fragen sind mir aufgekommen.

Vielleicht wärst du so nett, mir das noch kurz nachträglich zu erläutern, warum du es genau so gemacht hast.

Deine Vorschlag war ja wie folgt:

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
<META HTTP-EQUIV="CACHE-CONTROL" CONTENT="NO-CACHE">
<META NAME="ROBOTS" CONTENT="NONE">
<META NAME="GOOGLEBOT" CONTENT="NOARCHIVE">

Ich habe noch auf der Suche folgende mögliche Parameter gefunden...
- NOARCHIVE: diese Option hast du bei Googlebot angewandt. Ist es nicht auch sinnvoll, dies wieder auf ALLE anzuwenden?
also eher so:
<META NAME="ROBTOS" CONTENT="NOARCHIVE">
Oder haben die anderen Suchdienste Alle keine Archive?

- NONE: Das wendest du wieder auf die ROBOTS an. Ist dies nicht eigentlich doppelt, weil es mit NOINDEX, NOFOLLOW gleich gesetzt werden kann?
Mal abgesehen davon... widersprechen sich die ersten 3 Einträge nicht.
Erst darf nicht indexiert werden, aber den Links gefolgt werden.
Dann darf indexiert werden, den Links aber nicht gefolgt werden
und dann darf beides nicht getan werden...

- NOSNIPPET & NOODP: Hab ich eherlich gesagt nicht so genau verstanden. Dabei gehts wohl um die Beschreibung und das Cachen.


Danke dir auf jeden Fall für die super Anregungen und Tipps

 

Google und andere Suchdienste sollen die Seiten verbindlich inkl. aller Unterseiten und Unterverzeichnisse und -domains NICHT indexieren dürfen.

Kann ich sowas bewerkstelligen?

Kurz und knapp: die ganze Robots-txt und Meta-Sche...e kannst Du vergessen da sie von einer Vielzahl Suchmaschinen einfach ignoriert wird. Die "großen" Sumas wie Google, Bing und Yahoo mögen sich daran halten, die Masse der Sumas tut es nicht.

Wenn Du eine Seite/n mit absoluter Sicherheit vom Indexieren ausschließen möchtest, verhindere den Zugriff durch Installation in einem per Passwort geschützten Bereich oder lege die Seite in einem Unterverzeichnis auf Deinem Webspace an.

Im zweiten Fall darf allerdings keine Seite (KEINE der Seiten) irgendwelche Skripte enthalten die z.B. Partnerprogramme beim Einbau erfordern, es dürfen keine ausgehenden Links auf fremde Websites oder Inhalte auf anderen URLS als URLS in eben diesem Verzeichnis enthalten sein, keine Werbebanner usw. M. a. W.: keine Eingangslinks, keine über das Verzeichnis hinausgehenden Links.

Alle o. g. Tipps sind in diesem Sinne 

verbindlich inkl. aller Unterseiten und Unterverzeichnisse und -domains NICHT indexieren

Nuts. 

Hallo,

also... ich versteh nur nicht ganz, wie ich dann die Seite von Hand öffnen soll...

Nehmen wir mal an, ich habe die Domain www.google.de auf dem Verzeichnis /home/google/

Dort wird standardmässig die index.php oder index.html aufgerufen,

jetzt mach ich ein .htaccess auf das Verzeichnis /home/google

und kann dann aber die www.google.de doch nur nach Eingabe von einem Passwort öffnen... das ist doch total unbrauchbar, für eine Website, oder versteh ich grad was falsch.

Das andere mit den Partnerprogrammen versteh ich auch nicht... es darf also nicht sein, dass ich ein Affiliate Programm nutze (z.B. Amazon.de-Partnerprogramm), weil ein Klick auf den Button auf meiner Seite auf www.amazon.de verlinkt... oder meinst du es umgekehrt... Das affiliate Programm leitet einen Suchdienst auch weiter zu meiner Seite?

Ich glaube, ich werf da grad irgendwelche Sachen durcheinander

Danke für die Hilfe.

PS: andererseite würde es mir persönlich schon helfen, wenn nur die großen es nicht indexieren... aber der Rest wäre natürlich auch schön, wenn man das hinbekommen würde.

 

Hallo,

also... ich versteh nur nicht ganz, wie ich dann die Seite von Hand öffnen soll...

Nehmen wir mal an, ich habe die Domain www.google.de auf dem Verzeichnis /home/google/

nein, hast Du nicht.

Für Beispiele gibt es extra die Domains example.com example.net example.org

Dort wird standardmässig die index.php oder index.html aufgerufen,

jetzt mach ich ein .htaccess auf das Verzeichnis /home/google

und kann dann aber die www.google.de doch nur nach Eingabe von einem Passwort öffnen... das ist doch total unbrauchbar, für eine Website, oder versteh ich grad was falsch.

nein, Du machst einen Passwortschutz auf den Ordner /home/example/test

und kannst auf example.com zugreifen, für example.com/test brauchst Du aber das Passwort.
Suchmaschinen brauchen dann ebenfalls das Passwort, haben es aber nicht.

Das andere mit den Partnerprogrammen versteh ich auch nicht... es darf also nicht sein, dass ich ein Affiliate Programm nutze (z.B. Amazon.de-Partnerprogramm), weil ein Klick auf den Button auf meiner Seite auf www.amazon.de verlinkt... oder meinst du es umgekehrt... Das affiliate Programm leitet einen Suchdienst auch weiter zu meiner Seite?

Ich glaube, ich werf da grad irgendwelche Sachen durcheinander

Danke für die Hilfe.

PS: andererseite würde es mir persönlich schon helfen, wenn nur die großen es nicht indexieren... aber der Rest wäre natürlich auch schön, wenn man das hinbekommen würde.

 

Wenn Du im Ordner /home/example/test einen Link zu einem Affiliate o.Ä. hast und Du diesen Affiliate-Link anklickst oder gar nur Bilder (z.B. Werbebanner) anzeigst, dann erscheint im Serverlog bei dem Affiliate-Partner der Referer: www.excample.org/test/index.php

Darüber könnte über Umwege dieser Link trotzdem bei den Suchmaschinen gelistet werden. Sicherheit hast Du nur wenn Du einen Passwortschutz einrichtest.