User-agent: *
Allow: /
Sitemap: /sitemap.xml
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды