Google und die Dateien die nicht in den Such-Index gehören

Es gibt Dateien die selbst für Suchmaschinen oder sogar insbesondere für sie relevant sind, die aber nichts im Such-Index zu suchen haben. So ist darauf zu achten, dass auch nur Dateien in den Such-Index geraten, die dort hin gehören also z.B. nicht die folgende Dateien:

  • robots.txt
  • sitemap.xml
  • rss.rdf
  • atom.xml

Beispiele wie Sie diese Dateien finden wenn Sie sich nicht sicher sind:

site:[your domain] robots
site:[your domain] sitemap

Für den Apache Webserver sollten in der .htaccess die folgenden  Passagen eingefügt werden, damit die sitemap.xml und die robots.txt nicht im Google Index erscheinen:

# Robots noindex sitemap.xml
<IfModule mod_headers.c>
  <FilesMatch "sitemap\.xml$">
    Header append X-Robots-Tag "noindex"
  </FilesMatch>
</IfModule>

# Robots noindex robots.txt
<IfModule mod_headers.c>
  <FilesMatch "robots\.txt$">
    Header append X-Robots-Tag "noindex"
  </FilesMatch>
</IfModule>

Falls Sie direkt alle XML-, RDF- und TXT-Dateien aus dem Google Index verbannen wollen:

# Robots noindex *.xml,*.rdf,*.txt
<IfModule mod_headers.c>
  <FilesMatch "\.(xml|rdf|txt)">
    Header append X-Robots-Tag "noindex";
  </FilesMatch>
</IfModule>

Sicherlich macht es Sinn bei dynamisch generiertem Inhalt, der nicht indiziert werden soll, im Header diese Werte direkt bei der Erzeugung zu setzen!

Author: , published: , last modified:

Kontakt

Udo Schmal
Udo Schmal

Udo Schmal
Softwareentwickler
Ellerndiek 26
24837 Schleswig
Schleswig-Holstein
Germany




+49 4621 9785538
+49 1575 0663676
+49 4621 9785539
SMS
WhatsApp

Google Maps Profile
Instagram Profile
vCard 3.0

Service Infos

CMS Info

Product Name:
UDOs Webserver
Version:
0.5.0.185
Description:
All in one Webserver
Copyright:
Udo Schmal
Compilation:
Wed, 3. May 2023 19:13:20

Development Info

Compiler:
Free Pascal FPC 3.3.1
compiled for:
OS:Linux, CPU:x86_64

System Info

OS:
Ubuntu 22.04.2 LTS (Jammy Jellyfish)

Hardware Info

Model:
Hewlett-Packard HP Pavilion dm4 Notebook PC
CPU Name:
Intel(R) Core(TM) i5-2430M CPU @ 2.40GHz
CPU Type:
x86_64, 1 physical CPU(s), 2 Core(s), 4 logical CPU(s),  MHz