Robots.txt 生成

在线生成搜索引擎抓取规则文件

快捷模板

User-agent禁止抓取路径允许抓取路径Sitemap 地址抓取间隔 (Crawl-delay)可选，两次请求之间的间隔秒数。多数爬虫会忽略该指令。

User-agent: *