#robots.txt für robots.txt-Generator #Diese Webcrawler werden ausgeschlossen #Disallow_Webcrowler_Start User-agent: XGET Disallow: / #Disallow_Webcrowler_end #Diese Verzeichnisse/Dateien sollen nicht durchsucht werden #Disallow_Path_Start #eintrag User-agent: * #agent Disallow: /admin #path Disallow: /capps #path Disallow: /data #path Disallow: /preview #path #Disallow_Path_end