「クロール済み – インデックス未登録」に死ぬほど悩まされている件

このブログじゃないんですが、2022年の頭に「このままだとブログで生活できなくなる」みたいな危機感を感じ、新たに幾つかのブログを立ち上げました。そのうちの1つが「クロール済み – インデックス未登録」に死ぬほど悩まされています。

簡単に言うと簡単にはインデックスされないし、URL検査でインデックス登録を促しても気付いたら外されてしまっているという状況です。新規記事は増えているのに、トータルのインデックス数は横ばいという…かなり困った事態になっており、こちらのインデックス登録とグーグルのインデックス削除のいたちごっこになっています。

あくまで困ってるよって話であり、読者の皆様に解決策を提示できるような内容ではありませんが、いずれ解決した際にまとめ記事を書くため、備忘録として残しておこうと思いました。

肝心の解決策はまだ見つかっていないので、同様の悩みを抱えている方の参考にはならないと思いますが、もし「その原因は〇〇では?」とかあったら教えてください。

スポンサーリンク

クロール済み – インデックス未登録の増加

「クロール済み – インデックス未登録」が時間と共に増えていく

実は僕が所有しているブログの1つで「クロール済み – インデックス未登録」が猛威を振るっており、控えめに言ってもめちゃくちゃ困っています。症状としてはサーチコンソール上で何度もURL検査からインデックスをリクエストしても効果がないというもの。

正確に言うと、一時的にインデックスされるっていう効果はあるんだけど、気が付いたらまた「クロール済み – インデックス未登録」になってしまうという感じ。おかげでURL検査からのインデックスリクエストを上限まで行い続けることで、緩やかにインデックス数が増えていくという状況です。

ちなみにインデックスされたままの記事もあるんですが、インデックスを外されてしまう記事とそうでない記事の違いは把握できておらず、なぜこのようになっているのかが全く分かっていません。

「クロール済み – インデックス未登録」とは

サーチコンソールを開き、インデックス作成>ページ>クロール済み – インデックス未登録で該当ページを確認することができます。/feedなどはここに表示されていても問題ないので、あくまで記事ページURLに着目することが重要です。

  • 検出 – インデックス未登録:まだクロールされておらず、インデックスされていないのは必然。
  • クロール済み – インデックス未登録:クロールが済んでいて、何らかの理由でインデックスされていない。

簡単に言うと「クローラーが記事の情報を持ち帰ったものの、それを精査した結果、インデックスされなかったもの」です。まず「クロール済み – インデックス未登録」について検索すると、大抵の記事で「記事の品質が低い(可能性がある)」みたいな曖昧なことを言ってきます。

少なくとも僕がGoogle検索で調べた上位記事のほとんどは、そういうことしか書いておらず、具体的に「どういう記事が低品質なのか」についても言及されていませんでした。

で、僕が書いている記事が低品質だって言われたらそれまでなんですが、じゃあ僕が書いた記事の中でも「インデックスされている記事とそうじゃない記事の違いは何なのか」って話になるわけで、そもそも手前味噌で申し訳ないんですが「僕の書いた記事よりも低品質と思われる記事がゴロゴロしてますけど」っていう感じなんですよね。

まぁこれを言ったところで「それはあなたの感想ですよね?」って言われるだけなので、僕の記事は低品質ってことにはなるんでしょうが、それにしても「なぜあの記事が!?」みたいなことはあるわけで、だったら「被リンクないからだよ」みたいに言われた方が納得できるのにーってなっています。

「クロール済み – インデックス未登録」が増えていく原因

Japanese Google Search Office Hours(Google 検索オフィスアワー 2023 年 05 月 10 日)

専門家の方が「インデックスされない問題」について言及している動画があります。結論から言うと「記事の品質が低い場合があるよ、自分の方でブロックしてるケースが少なくないよ」みたいなことを言っており、そんなに目新しい情報は得られませんでした。

ただ、こういう人が一概に説明できないほど、複雑な問題であるということが理解できます。そして「大きく分けて原因は4つある」と言われて、消去法で僕に該当するのが「記事の品質」っていうのは皮肉なもんですね。

また、明確に言及している記事もあって、鈴木謙一氏のブログ記事『「インデックスから消える⇒URLのインデックス送信で復活⇒また消える」を繰り返すのはなぜ?』では以下のように書かれています。

こんなふうに、完全にインデックスされないわけではないけれど、出現・消滅を繰り返すのであれば品質が低いことを真っ先に疑ったほうがよさそうです。

手動でインデックス送信しないとインデックスされないというのは正常な状態ではありません。
既存ページからのリンクやサイトマップによって新規ページは通常は自動でインデックスされます。

「インデックスから消える⇒URLのインデックス送信で復活⇒また消える」を繰り返すのはなぜ?

僕の該当ブログでは新規記事を毎日5記事ほど追加していますが、その全てをURL検査してインデックスさせています。それをしなくてもインデックスされる記事もありますが、割合的にはかなり少ないのが現状です。

いずれにしても品質が低いということだそうなので、何とか対策を取っていかなければならないでしょう。

具体的な「クロール済み – インデックス未登録」対策

記事の構成の見直し、定期的なリライト

とりあえず低品質だって言われるんであれば、高品質にすればインデックスしてもらえるってことなので、定期的にリライトしていくのが最善の方法なんだろうと思われます。例えば足りていない情報や画像を追記するとか、あるいは内部リンクで繋いだりとか、ブログ運営における地道なやつ。

実際にこれの効果でインデックスが外されなくなった(と思われる)記事もいくつかあるので、これには一定の効果ができるんじゃないかと思っています。

ただ、内部リンクも闇雲に繋ぐと逆効果っていう話もあり、僕のサイトでも内部リンクで繋ぎまくっているまとめ記事がインデックスを外されたりもしているので、この辺はちょっと疑問が残っています。

外部リンクを送る

インデックスされていない記事に対して外部からリンクを送る手法は、明確に効果があると思います。これは幾つか試してみましたが、外部リンクを送った記事についてはしっかりとインデックスされ、その後も勝手に「クロール済み – インデックス未登録」にされるということも確認していません。

ただ、対象の僕のブログは2023年5月時点で1200件くらいの記事があって、現時点での登録数が700件とかそこらなんですよね。これもURL検査を毎日10件くらいしていて、毎日5件以上がインデックスを消されていくって感じなので、たぶん放っておいたらインデックスされたまま残るのは300件以下になるような気がしています。

インデックスされていない900件に外部からリンクを送るって、なかなか簡単なことじゃないですよね。まして「リンクも数じゃなくて品質だ!」みたいに言われる時代なわけで、高品質なリンクなんか簡単にもらえませんから無理ゲーも無理ゲー。

もしインデックスされないのが数件だったり、あるいは「渾身の1記事がインデックスされない」みたいなケースであれば、外部からリンクを送ってやるのがいいと思います。

ドメインの変更

ちょっとどこで見たか忘れちゃったんですが、ネット上の記事で「手動による対策がなくても、サイト全体で低評価の烙印を押されているケースがある」みたいなのを見ました。

その記事によると、確か「サイト全体が低品質のままだから新記事を書いてもクロールが来ないし、全体の中でも評価の低い記事から次々とインデックスが外される」みたいなことが書かれていたような気がします。

ソースも明確にされてなかったので、真剣に読んだわけじゃなくて「ふーん」って感じで流し見をしてたんですが、その方が挙げている事例がまんま僕の状況だったので少し気になっていたんですよね。それを踏まえるとドメインの変更・引っ越しは十分アリな選択かと思われます。

ただ、場合によっては思い入れのあるドメインかもしれませんし、人によっては「なるべくこのドメインでやりたい」みたいなこともあるかと思うんで、なるべくやらないで済むならやりたくない手段であることは間違いないでしょう。

僕としても対象のドメインはサーバーのキャンペーンで永久無料になってるやつなんで、出来ればこれは使っていきたいんですよね。まぁ引っ越しして改善されるってのが確定しているなら、迷わず引っ越しますけど。

「クロール済み – インデックス未登録」に死ぬほど悩まされている件 まとめ

  • 技術的な問題、手動ペナルティなどが無いのであれば、基本的に「クロール済み – インデックス未登録」は低品質コンテンツの可能性が高い
  • 「クロール済み – インデックス未登録」を改善するには記事品質の向上が必要で、具体的には内容の見直しや被リンクの獲得などが有効と思われる

とりあえず今後は新規記事の追加とリライトを並行して行い、新規記事の作成よりもリライトに力を入れて行こうと思っています。で、効果があるかどうかは分かりませんが、無料ブログや自分が持ってる色んなブログからリンクを送っていくって感じですかね。

ただ、まったく関連性のないブログにリンクは送りたくないですし、無料ブログからのリンクで効果があんのかって話もあるんで、この辺はおまじない程度になるのかなぁと思っています。