# robots.txt für dieses Forum # Zugriff auf alle Dateien erlauben # aber nicht zu premium gehen! # wenn sie trotzdem hingehen, erleben sie ihr blaues Wunder... User-agent: * Disallow: /premium # Einzelne Crawler von bestimmten Ordnern ausschliessen, nur Beispiel: User-agent: googlebot Disallow: /premium User-agent: slurp Disallow: /premium