robots.txt mit Typo3 erstellen

23 Kommentare | Rubrik: Empfohlene Module, SEO

Die robots.txt gestattet dem Websitebetreiber Einfluss auf die Suchmaschinencrawler zu nehmen. Mit ihr können bestimmte Bots für Seiten und Teilbereiche gesperrt werden, um so eine Indexierung zu verhindern.

robots.txt für Typo3

Eine Typo3 Extension zur Generierung einer solchen robots.txt ist "Robotstxt" (weeaar_robotstxt). Zwar gehört die robots.txt nur im weiten Umfeld zur Suchmaschinenoptimierung, doch ein Steuerung der Suchmaschinencrawaler kann auch das Unterbinden von Zugriffen sein, um Teilbereiche erst nach und nach zugänglich zu machen. Auch eine XML-Sitemap für Suchmaschinen kann über die robots.txt bekannt gemacht werden.

Extensionbeschreibung auf Typo3.org

Installation

1. Im Ext Manager die Extension weeaar_robotstxt suchen, herunterladen und installieren
2. Im Setup der Rootseite mit folgendem TS einen neuen Seitentyp erstellen. Die pid_list auf die Seite setzen (am besten die Rootseite), in der später der robots.txt Inhalt eingetragen wird.
   

   robots = PAGE
   robots {
     typeNum = 201
     10 >
     10 < plugin.tx_weeaarrobotstxt_pi1
     10.pid_list = 1
     config {
       disableAllHeaderCode = 1
       additionalHeaders = Content-type:text/plain
       no_cache = 1
     }
   }

3. Die Seiteneigenschaften der Seite bearbeiten, die bei pid_list eingetragen wurde.
4. Im neuen Block "Inhalt der Robots.txt" die Konfiguration der robots.txt eintragen.
   Eine Erläuterung zur Konfiguration der robots.txt findet man z.B. bei Wikipedia. Im Netz findet man aber auch viele gute Generatoren, die einem bei der Erstellung der Konfiguration helfen.
   Folgendes Beispiel erlaubt allen Bots das crawlen aller Seiten.

   User-agent: *
   Disallow:

   Für SEO-Zwecke kann auch der Verweis auf eine XML-Sitemap der Website geschaltet werden. Hierzu erstellt man eine XML-Sitemap für Typo3 und fügt der robots.txt folgenden anzupassenden Eintrag hinzu.

   Sitemap: http://www.meineseite.tld/sitemap.xml 

5. Den Aufruf der robots.txt testen (ID der Rootseite und Domain anpassen):
   www.meinedomain.de/index.php

Konfiguration für RealURL

Wer RealURL verwendet kommt mit folgender Konfiguration weiter. Der robots.txt-Teil muss zur Konfiguration hinzugefügt werden.

'index' => array(
                'rss.xml' => array(
                    'keyValues' => array(
                        'type' => '100',
                    ),
                ),
                'robots.txt' => array(
                    'keyValues' => array(
                        'type' => '201',
                    ),
                ),
),