無料・登録不要
robots.txt確認
公開されているrobots.txtを取得し、User-agent、Disallow、Sitemapの指定を確認。検索エンジンのクロール設定を見直すための無料ツールです。
このツールで確認できること
公開後やCMSの設定変更後に、クローラー向けの指示を確認します。入力したURLのオリジンにある/robots.txtを取得し、認識した指示を表示します。
結果を見るときのポイント
- /robots.txtでHTMLのエラーページなどを返していないか。
- User-agentごとの指示とDisallowの対象が意図したものか。
- Sitemapで正しいサイトマップのURLを案内しているか。
robots.txtで許可すれば検索結果に載りますか？
クロールの許可と検索結果への登録は別です。ページのnoindex指定や正規URL、検索エンジンの判断なども関係します。また、robots.txtは非公開情報を守るアクセス制御の代わりにはなりません。
確認範囲と制限
取得した指示を表示するツールです。特定のクローラーとURLに対するルールの適用はシミュレーションしません。