# robots.txt file for http://www.torstenkelsch.de/ # 2010-08-26 23:35 # Verzeichnisse ausschließen User-agent: * Disallow: /_archiv Disallow: /buchstaben Disallow: /captainwupper Disallow: /chat Disallow: /cgi-bin # -------------------------------------------------------------------- # Achtung: Falls doch auf Contao umgestellt wird, # muss der Eintrag entfernt werden! Disallow: /contao # -------------------------------------------------------------------- Disallow: /dirkbalke Disallow: /fehlerseiten Disallow: /files Disallow: /fotos Disallow: /js Disallow: /lib Disallow: /mediterran Disallow: /naturfeinkost Disallow: /php_adminpanel Disallow: /php_easyinstaller Disallow: /php_microcms Disallow: /php_microblog Disallow: /piwik Disallow: /rauf Disallow: /shirtorama Disallow: /starwars Disallow: /thomafrohn Disallow: /wbn Disallow: /webscroller # Übereifrige Bots einbremsen User-agent: Slurp Crawl-delay: 5 User-agent: msnbot Crawl-delay: 5 User-agent: Teoma Crawl-delay: 5 User-agent: Francis Crawl-delay: 5 # end of file