これって大丈夫？一度削除した記事で
クロールエラーメールが来た時の対処法

ここでは、わけあって一度削除した記事を復帰させた時に、サーチコンソールからクロールエラーメールが来た時の話をまとめています。

当時は、これって大丈夫？と不安になったり、どうすればいいんじゃー！と検索しまくったりしたので、こぼれ話として記事にしてみました。

あくまで初心者の見聞ですが、もし同じような状況になった時の、1つのケースとして見ていただければと思います。

クロールエラーのメールが来た！

ある時、一度は「不要かも」と削除した記事を、後日「やっぱりあってもいいかも」と、加筆修正などして復帰させた事がありました。

そのとき、はじめてサーチコンソールから「クロールエラー」を通知するメールが来ました。

いつものようにサーチコンソールで、記事のインデックスを促すためにサイトマップ（.xmlファイル）を送信していたのですが……

送信されたURLのうち、1つ以上で「クローラーがページを見つけられませんでした」というお知らせでした。

クローラーは記事を巡回して検索結果に表示するかどうかを担うプログラムです。

「クローラーが認識できない＝検索結果に出ない（インデックスされない）」ということなので、あわてて状況を整理、原因を調べる事にしました。

サーチコンソールではカバレッジページから、エラーのあるURLを確認する事ができます。

カバレッジページで「エラー」タブをタップ（クリック）して、下へスクロールすると該当数が表示されるので、その項目をタップするとURLの詳細を確認できます。

当時はサーチコンソールの使い方も覚束なかったので、アップロードした記事とインデックスされた数字から、どの記事がエラーなのかを推測していきました。

その時はインデックス待ちの記事が（数字からみて）3つほどあり、思い当たるうち2つは、一度削除して復帰させた記事でした。

アップするの忘れた？！と慌てて確認しましたが、上記2つの記事はきちんとアップロードされていて、ページを目視で確認できました。

サイト上にはあるけど、クロールエラー通知。

これはどういうことだろう？　とナゾが深まりました。

クロールエラーの原因を調べる

カバレッジページでエラーのあるURL詳細から、「URL検査」でURLがインデックスできるかテストする事ができます。

当時は「Fetch as Google」という名前で、「URLのレンダリングを取得＆インデックス登録をリクエスト」という手順でした。

ページに何らかの問題がある場合には、そのステータス（原因）を返してくれるので分析に役立ちます。

「URL検査」をして、もし「URLを登録できません」と出たら、下へスクロールしてステータスを確認してみます。

この時は、URLのレンダリングは出来たものの、「一部情報はrobots.txtからのブロックで取得できませんでした」と出ていました。

えっ？？Σ(・□・;) ブロックどころか、robots.txtにはサイトマップのURLしか記載していませんぞ？？

間違って.htaccessファイルで何かブロックしちゃった？と確認したものの、そんな記述はありません。

ですが、レンダリングは出来たし、エラーレベルも「低」で「ほとんど影響なし」とのことだったので、ひとまずインデックス登録申請だけしておく事にしました。

結局なんでエラーになったんだろう、と思ったのですが、もしかして「URL削除」がクローラーに影響したのかも、と推測しました。

例の2記事を記事を削除した時、サーチコンソールに備わっている「URLの削除」という機能を使いました。

当時は記事を削除したらそうするものだと思っていたのですが、実際は緊急で検索結果からブロックしたい時などに使う機能みたいです。

参考： 削除ツール｜Googleサポート

「URLの削除」を使ってから、そこそこ時間は経っていたのですが、この時の「URLを検索結果から削除する」という命令がどこかに残っていて、クローラーが認識できなかったのかも、と考えました。

うっかりサーバーからファイルを削除したり、URLを間違って送信してインデックスのやり直しになった記事では、再アップロードやURLを直しただけですんなり復帰できたので、違いがあるとすればそれくらいです。

サーチコンソールで削除（ブロック）したURLを復帰させたい場合は、「URL検査」「インデックス登録の申請」をしておくと、インデックスの復活もスムーズかも知れません。

クロールエラーの後日談

クロールエラーメールから数日後、2記事とも無事インデックス登録されました。

1つは早々にインデックスされたものの、もう1つは保留中となっている期間が少し長く、きちんとインデックスされるまでドキドキしながら見守りました。

実は削除から復帰させた記事は3つあり、1つはエラーもなく復帰、2つでエラー通知が来て、時間差はあったものの全て復帰！

サーチコンソールからエラー通知が来た時は、まずは「URLの検査」などで原因を調べてみましょう。

エラーレベルの高い場合は早急に対応する必要がありますが、エラーレベルが低い場合には、そのうちクローラーが巡回に来て、問題なければインデックス登録されます。

はじめてエラー通知がくると不安になりますが、あまり気負わず、気楽に待ってみる心構えも大切です。