Генератор Robots.txt

Генерация правил краулинга

Шаблоны

Правила

User-agentПути DisallowПути AllowURL карты сайтаCrawl-delayНеобязательная задержка в секундах между запросами. Многие краулеры игнорируют эту директиву.

Предпросмотр

User-agent: *