robots.txt / sitemap.xml 生成ツール

クローラー別ルール・AIブロック・テンプレートで robots.txt を、URLテーブルで sitemap.xml をGUI生成。

テンプレート

Sitemap

robots.txt プレビュー

URLを追加

URL 一覧

0 件

URL	lastmod	changefreq	priority

sitemap.xml プレビュー

このツールでできること

robots.txtとsitemap.xmlを専用GUIで生成するタブ切り替えツールです。User-agentごとのAllow/Disallow設定、ChatGPT・Claude等のAIクローラーブロック、URLテーブル形式のsitemap編集に対応。生成ファイルは正しいファイル名でダウンロードできます。

使い方

「robots.txt」タブを選択します
User-agentブロックを追加し、クローラー名を指定します
Allow/Disallowするパスを追加します
AIクローラーのプリセットやテンプレートを活用します
生成されたrobots.txtをコピーまたはダウンロードします

こんな時に便利

管理画面（/admin/）を検索エンジンにインデックスさせたくないとき
AIクローラー（GPTBot・Claude-Web等）によるクロールをブロックしたいとき
新しいサイトのsitemap.xmlを素早く作成してSearch Consoleに送信するとき

よくある質問

Q. robots.txtはクローラーに必ず従ってもらえますか？

いいえ。robots.txtはリクエストであり、悪意あるbotは無視します。管理画面などは別途認証で保護してください。

Q. sitemapのpriorityの値はどう設定すればよいですか？

0.0〜1.0の値で、デフォルトは0.5です。ホームページを1.0、重要ページを0.8、一般ページを0.5と相対的に設定するのが一般的です。

Q. サイトマップに登録できるURLの最大数はありますか？

サイトマップファイル1つにつき最大50,000URLです。大規模サイトはsitemap indexで複数のサイトマップファイルを管理します。