# ===================================
# Erstellt am: 05.11.2022, 15:38
# Webseite: https://www.cyberinterface.de
# ===================================

Sitemap: https://www.cyberinterface.de/sitemap.xml

# ===================================
# Folgende Seiten sollen nicht indexiert werden:
# ===================================

User-agent: Googlebot
Disallow:

User-agent: AdsBot-Google
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: *
Disallow: /cgi-bin/

# ===================================
# Schließe folgende Spider komplett aus:
# ===================================

User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /