User-agent: Scrapy Allow: / #robots.txt fuer die Domain www.poseidon-dive-sports.de #erstellt: 30.03.2018 RB User-agent: * Disallow: /rbadmin/ Disallow: /includes/