本ブログ「kiretak.com」の
カバレッジ問題検出メールがきた。
【警告】「robots.txt によりブロックされましたが、インデックスに登録しました」
Bloggerブログでのrobots.txtブロック解除方法を示す。
■Bloggerブログ robots.txtによりブロックされました-解除方法
■Search Console
「robots.txt テスターを開く」⇒「プロパティを選択してください」
⇒自分のブログを選択。
「robots.txt テスター」で4、5行目追記する。
User-agent: Mediapartners-Google Disallow: User-agent: Googlebot Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://〇〇.com/sitemap.xml※[1.~2.] Bloggerブログのデフォルト設定。
Google Adsense用のクローラー許可。
※[4.~5.] 今回追加部分。
Googleの「robots」をブロック(Disallow)しない。
※[7.~9.] Bloggerブログのデフォルト設定。
「/serch」の巡回に「robots」が
時間をとられるのを防ぐため
「/serch」をブロック(Disallow)する。
それ以外のページ「/」を許可(Allow)。
Bloggerブログではカテゴリがなく、
ラベルで記事仕分け管理となっている。
「/serch」以下にラベルのページがある構造
【例：/serch/label/プログラム】
なのでラベルページがブロックされて
問題となる。
※[11.] Sitemapは自分のサイトのURL使用。
追記したら、
「送信」⇒「ダウンロード」
⇒「robots.txt」がダウンロード保存される。
３．「Google に更新をリクエスト」
は「robots.txt」更新後に実施する。
■Blogger
「設定」⇒「検索設定」⇒「独自のrobots.txt」⇒「編集」選択。
「独自のrobots.txtのコンテンツを有効にしますか？」⇒「はい」
ダウンロード保存した「robots.txt」の内容を
テキスト入力欄にコピペ。
⇒「変更を保存」選択。
Bloggerの設定はこれで完了。
「robots.txt テスター」で
２．「アップロードされたバージョンを確認」
※「robots.txt」が更新されているのを
「２．」で確認して「３．」でGoogleに知らせるっぽいが
更新まで時間がかかりそうだったので「３．」実行した。
⇒修正検証1度失敗⇒再検証合格。
更新確認できるまで
とりあえず1日放置した方がいいかもしれない。
３．「Google に更新をリクエスト」
実行。
■Google Search Console
「Google Search Console」⇒「カバレッジ」
⇒警告の詳細を確認して「修正を検証」選択。
⇒11月19日実施⇒11月20日失敗連絡メール着。
■検証：失敗しました。
「robots.txt テスターを開く」⇒「送信」
２．「アップロードされたバージョンを確認」
で「robots.txt」更新確認後
３．「Google に更新をリクエスト」
実行。
「Search Console」⇒「詳細を表示」⇒再度修正を検証。
「カバレッジ」の問題が修正されました
メール着。
「Search Console」検証：「合格」に変化した。
■あとがき
今回はBloggerブログでのrobots.txtブロック解除方法
を示した。
Googleのメールには
「検索結果での表示に影響がある場合がございます」
「こうした問題を解消することで、
サイトのエクスペリエンスや
Google 検索結果での表示を最適化できます」
など書いてあるので問題解決した方がよいと思う。
他にブロック解除でなくnoindexを使って
インデックス登録しない方法もあるっぽい。
私は「/search」以下ラベルページ
登録しても問題なかろうと考えて
1番手っ取り早そうな方法として
ブロック解除したが自分のサイトに合った
方法を実施すればいいと思う。
余談だが「robots.txt テスター」の下段で
Googlebotなどがブロックできるかテストできる。
■許可済み
■ブロック済み
