Google und die Dateien die nicht in den Such-Index gehören

Es gibt Dateien die selbst für Suchmaschinen oder sogar insbesondere für sie relevant sind, die aber nichts im Such-Index zu suchen haben. So ist darauf zu achten, dass auch nur Dateien in den Such-Index geraten, die dort hin gehören also z.B. nicht die folgende Dateien:

  • robots.txt
  • sitemap.xml
  • rss.rdf
  • atom.xml

Beispiele wie Sie diese Dateien finden wenn Sie sich nicht sicher sind:

site:[your domain] robots
site:[your domain] sitemap

Für den Apache Webserver sollten in der .htaccess die folgenden  Passagen eingefügt werden, damit die sitemap.xml und die robots.txt nicht im Google Index erscheinen:

# Robots noindex sitemap.xml
<IfModule mod_headers.c>
  <FilesMatch "sitemap\.xml$">
    Header append X-Robots-Tag "noindex"
  </FilesMatch>
</IfModule>

# Robots noindex robots.txt
<IfModule mod_headers.c>
  <FilesMatch "robots\.txt$">
    Header append X-Robots-Tag "noindex"
  </FilesMatch>
</IfModule>

Falls Sie direkt alle XML-, RDF- und TXT-Dateien aus dem Google Index verbannen wollen:

# Robots noindex *.xml,*.rdf,*.txt
<IfModule mod_headers.c>
  <FilesMatch "\.(xml|rdf|txt)">
    Header append X-Robots-Tag "noindex";
  </FilesMatch>
</IfModule>

Sicherlich macht es Sinn bei dynamisch generiertem Inhalt, der nicht indiziert werden soll, im Header diese Werte direkt bei der Erzeugung zu setzen!

Kontakt

Udo Schmal
Udo Schmal

Udo Schmal
Softwareentwickler
Ellerndiek 26
24837 Schleswig
Schleswig-Holstein
Germany




+49 4621 9785538
+49 1575 0663676
+49 4621 9785539
SMS
WhatsApp

Google Maps Profile
Instagram Profile
vCard 2.1, vCard 3.0, vCard 4.0

Service Infos

CMS Info

Product Name:
UDOs Webserver
Version:
0.5.1.55
Description:
All in one Webserver
Copyright:
Udo Schmal
Compilation:
Wed, 28. Feb 2024 22:42:28

Development Info

Compiler:
Free Pascal FPC 3.3.1
compiled for:
OS:Linux, CPU:x86_64

System Info

OS:
Ubuntu 22.04.4 LTS (Jammy Jellyfish)

Hardware Info

Model:
Hewlett-Packard HP Pavilion dm4 Notebook PC
CPU Name:
Intel(R) Core(TM) i5-2430M CPU @ 2.40GHz
CPU Type:
x86_64, 1 physical CPU(s), 2 Core(s), 4 logical CPU(s),  MHz