Google und die Dateien die nicht in den Such-Index gehören

Es gibt Dateien die selbst für Suchmaschinen oder sogar insbesondere für sie relevant sind, die aber nichts im Such-Index zu suchen haben. So ist darauf zu achten, dass auch nur Dateien in den Such-Index geraten, die dort hin gehören also z.B. nicht die folgende Dateien:

  • robots.txt
  • sitemap.xml
  • rss.rdf
  • atom.xml

Beispiele wie Sie diese Dateien finden wenn Sie sich nicht sicher sind:

site:[your domain] robots
site:[your domain] sitemap

Für den Apache Webserver sollten in der .htaccess die folgenden  Passagen eingefügt werden, damit die sitemap.xml und die robots.txt nicht im Google Index erscheinen:

# Robots noindex sitemap.xml
<IfModule mod_headers.c>
<FilesMatch "sitemap\.xml$">
Header append X-Robots-Tag "noindex"
</FilesMatch>
</IfModule>

# Robots noindex robots.txt
<IfModule mod_headers.c>
<FilesMatch "robots\.txt$">
Header append X-Robots-Tag "noindex"
</FilesMatch>
</IfModule>

Falls Sie direkt alle XML-, RDF- und TXT-Dateien aus dem Google Index verbannen wollen:

# Robots noindex *.xml,*.rdf,*.txt
<IfModule mod_headers.c>
<FilesMatch "\.(xml|rdf|txt)">
Header append X-Robots-Tag "noindex"
</FilesMatch>
</IfModule>

Sicherlich macht es Sinn bei dynamisch generiertem Inhalt, der nicht indiziert werden soll, im Header diese Werte direkt bei der Erzeugung zu setzen!

Autor: , veröffentlicht: , letzte Änderung:

Kontakt

Copyright / License of sources

Copyright (c) 2007-2018, Udo Schmal <udo.schmal@t-online.de>

Permission to use, copy, modify, and/or distribute the software for any purpose with or without fee is hereby granted, provided that the above copyright notice and this permission notice appear in all copies.

THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.

Service Infos

CMS Info Product Name:
UDOs Webserver
Version:
0.4.2.1
Description:
All in one Webserver
Copyright:
Udo Schmal
Compilation:
So, 21 Okt 2018 21:59:50
Development Info IDE:
Lazarus LCL 2.1.0.0
Compiler:
Free Pascal FPC 3.3.1
compiled for:
OS:Linux, CPU:x86_64
Hardware Info Model:
ASRock A330ION
CPU Name:
Intel(R) Atom(TM) CPU 330 @ 1.60GHz
CPU Type:
x86_64, 1 physical CPU(s), 2 Core(s), 4 logical CPU(s), 1599.996 MHz
System Info OS:
Ubuntu 18.04.1 LTS bionic