Robots.txt生成

検索エンジンクロールルール生成

テンプレート

User-agentDisallow パスAllow パスサイトマップ URLCrawl-delay任意。リクエスト間の待ち秒数。多くのクローラは無視します。

User-agent: *