User-Agent: *
Disallow: /

User-Agent: Googlebot
Allow: /
Disallow: /cache/

User-Agent: Googlebot-Image
Allow: /
Disallow: /cache/

User-Agent: MSNBot
Allow: /
Disallow: /cache/

##########################################################################################
# Majestic12 crawler
User-agent: MJ12bot
Disallow: /
User-agent: MegaIndex
Disallow: /
##########################################################################################
# AHrefs crawler
User-agent: AhrefsBot
Disallow: /
##########################################################################################
# Exalead.com - Exabot
User-agent: Exabot
Disallow: /
##########################################################################################
# UA: Mozilla/5.0 (compatible; seoscanners.net/1; +spider@seoscanners.net)
User-agent: seoscanners.net
Disallow: /
##########################################################################################
#http://filterdb.iss.net/crawler/
User-agent: oBot
Disallow: /
##########################################################################################
# opensiteexplorer crawler
User-agent: dotbot
Disallow: /
##########################################################################################
#http://openlinkprofiler.org/bot
User-agent: spbot
Disallow: /
##########################################################################################
#http://siteexplorer.info/Backlink-Checker-Spider
User-agent: SiteExplorer
Disallow: /
##########################################################################################
# Yahoo Slurp crawler
User-agent: Slurp
Disallow: /
##########################################################################################
# SemrushBot crawler
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
##########################################################################################
#http://law.di.unimi.it/BUbiNG.html
User-agent: BUbiNG
Disallow: /
##########################################################################################
# Yandex (Russian search engine)
User-agent: Yandex
Disallow: /
##########################################################################################
# https://dev.twitter.com/cards/getting-started#crawling
User-agent: Twitterbot
Disallow: *