\documentclass[a4paper, 11pt]{article}
\renewcommand{\familydefault}{\sfdefault}
\usepackage{a4wide}
\usepackage[utf8]{inputenc}
\usepackage[ngerman]{babel}
\usepackage{color}
\usepackage{graphicx}
\usepackage{setspace}
\usepackage{ulem}
\usepackage{listings}
\usepackage{float}
\usepackage[rflt]{floatflt}
\usepackage{tabularx}
\setlength{\parindent}{0pt}
\title{Google und die Dateien die nicht in den Such-Index gehören}
\usepackage[
pdftitle={Google und die Dateien die nicht in den Such-Index gehören}
pdfsubject={Es gibt Dateien die selbst für Suchmaschinen oder sogar insbesondere für sie relevant sind, die aber nichts im Such-Index zu suchen haben. So ist darauf zu achten, dass auch nur Dateien in den Such-Index geraten, die dort hin gehören!}
pdfauthor={Udo Schmal}
pdfkeywords={Administration}
]{hyperref}
\definecolor{darkblue}{rgb}{0,0,.5}
\hypersetup{pdftex=true, colorlinks=true, breaklinks=true, linkcolor=darkblue, menucolor=darkblue, pagecolor=darkblue, urlcolor=darkblue}
\begin{document}Google und die Dateien die nicht in den Such-Index gehören
\singlespacing
{\LARGE \textbf{\label{sec:title}Google und die Dateien die nicht in den Such-Index gehören}}

Es gibt Dateien die selbst für Suchmaschinen oder sogar insbesondere für sie relevant sind, die aber nichts im Such-Index zu suchen haben. So ist darauf zu achten, dass auch nur Dateien in den Such-Index geraten, die dort hin gehören also z.B. nicht die folgende Dateien:

\begin{itemize}
\item robots.txt
\item sitemap.xml
\item rss.rdf
\item atom.xml
\end{itemize}

Beispiele wie Sie diese Dateien finden wenn Sie sich nicht sicher sind:
\begin{lstlisting}[breaklines]site:[your domain] robots\newline
site:[your domain] sitemap\end{lstlisting}

Für den Apache Webserver sollten in der .htaccess die folgenden  Passagen eingefügt werden, damit die sitemap.xml und die robots.txt nicht im Google Index erscheinen:
\begin{lstlisting}[breaklines]\# Robots noindex sitemap.xml
\&lt;IfModule mod\_headers.c\&gt;
  \&lt;FilesMatch \&quot;sitemap\textbackslash.xml\$\&quot;\&gt;
    Header append X-Robots-Tag \&quot;noindex\&quot;
  \&lt;/FilesMatch\&gt;
\&lt;/IfModule\&gt;

\# Robots noindex robots.txt
\&lt;IfModule mod\_headers.c\&gt;
  \&lt;FilesMatch \&quot;robots\textbackslash.txt\$\&quot;\&gt;
    Header append X-Robots-Tag \&quot;noindex\&quot;
  \&lt;/FilesMatch\&gt;
\&lt;/IfModule\&gt;\end{lstlisting}

Falls Sie direkt alle XML-, RDF- und TXT-Dateien aus dem Google Index verbannen wollen:
\begin{lstlisting}[breaklines]\# Robots noindex *.xml,*.rdf,*.txt
\&lt;IfModule mod\_headers.c\&gt;
  \&lt;FilesMatch \&quot;\textbackslash.(xml|rdf|txt)\&quot;\&gt;
    Header append X-Robots-Tag \&quot;noindex\&quot;;
  \&lt;/FilesMatch\&gt;
\&lt;/IfModule\&gt;\end{lstlisting}

Sicherlich macht es Sinn bei dynamisch generiertem Inhalt, der nicht indiziert werden soll, im Header diese Werte direkt bei der Erzeugung zu setzen!
\end{document}