Google und die Dateien die nicht in den Such-Index hehören

Es gibt Dateien die selbst für Suchmaschinen oder sogar insbesondere für sie relevant sind, die aber nichts im Such-Index zu suchen haben. So ist darauf zu achten, dass auch nur Dateien in den Such-Index geraten, die dort hin gehören also z.B. nicht die folgende Dateien:

  • robots.txt
  • sitemap.xml
  • rss.rdf
  • atom.xml

Beispiele wie Sie diese Dateien finden wenn Sie sich nicht sicher sind:

  site:[your domain] robots
site:[your domain] sitemap

Für den Apache Webserver sollten in der .htaccess die folgenden  Passagen eingefügt werden, damit die sitemap.xml und die robots.txt nicht im Google Index erscheinen:

# Robots noindex sitemap.xml
<IfModule mod_headers.c>
<FilesMatch "sitemap\.xml$">
Header append X-Robots-Tag "noindex"
</FilesMatch>
</IfModule>

# Robots noindex robots.txt
<IfModule mod_headers.c>
<FilesMatch "robots\.txt$">
Header append X-Robots-Tag "noindex"
</FilesMatch>
</IfModule>

Falls Sie direkt alle XML-, RDF- und TXT-Dateien aus dem Google Index verbannen wollen:

# Robots noindex *.xml,*.rdf,*.txt
<IfModule mod_headers.c>
<FilesMatch "
\.(xml|rdf|txt)">
Header append X-Robots-Tag "noindex"
</FilesMatch>
</IfModule>

Sicherlich macht es Sinn bei dynamisch generiertem Inhalt, der nicht indiziert werden soll, im Header diese Werte direkt bei der Erzeugung zu setzen!

Autor: , veröffentlicht: , letzte Änderung:

Kontakt

Copyright / License of sources

Copyright (c) 2007-2017, Udo Schmal <udo.schmal@t-online.de>

Permission to use, copy, modify, and/or distribute the software for any purpose with or without fee is hereby granted, provided that the above copyright notice and this permission notice appear in all copies.

THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.

Service Infos

CMS Info
UDOs Webserver

0.3.1.24

All in one Webserver

Udo Schmal

Sa, 21 Okt 2017 00:30:10
Development Info
Lazarus LCL 1.9.0.0

Free Pascal FPC 3.1.1

OS:Win64, CPU:x86_64
Hardware Info
Precision WorkStation T3500

Intel(R) Xeon(R) CPU W3530 @ 2.80GHz

x86_64, 1 physical CPU(s), 4 Core(s), 8 logical CPU(s), 2800 MHz