無料テクニカルSEOツール

robots.txt チェッカー

Webサイトにrobots.txtが公開されているか、その内容がクローラーに何を指示しているか、Googlebotが公開ページへアクセス可能に見えるかを確認します。

このチェックで確認すること

公開されているrobots.txtを取得し、サイトマップ宣言を確認したうえで、入力したパスに対してGooglebotに適用される最も具体的なAl低またはDisal低ルールを判定します。

robots.txtでアクセスが許可されていても、Googleにインデックスされていることを意味しません。許可されたパスでも、除外されている、別URLにcanonical指定されている、またはGoogleでまだ処理されていない場合があります。

サイトマップの検出、ページのインデックス指定、canonical、初回公開レスポンスもあわせて確認しましょう。