サイトマップの生成ミスでGoogle先生に嫌われている話
先日お伝えしましたとおり、WordPressにしたところ、Googleの検索に記事がヒットしなくなるという緊急事態が発生しました。そこで原因を色々と探っていくうちに、なんとなくこれが原因かな？ということがわかってきたのでメモ的に。
どうやらサイトマップに問題があったようだ
今回、最も疑わしいのはサイトマップです。そもそも今回の移行では、サイトをクローズせずに移行を進めるため、まずはWPにて
https://airoplane.net/cgi-bin/wp/
というディレクトリでのミラーサイト構築を行いました。そして、ミラーサイトが正式稼働した後、最もアクセスが落ちる日曜日の早朝に移行を行いました。移行とは、MT時代のファイルは全て残しつつ、WPのルートディレクトリを
https://airoplane.net/
に指定し直し、以後ほぼ全てのURLにて、WPのページが表示されるようにするというものでした。果たして作業はうまくいきまして、個別のパーマリンクなどを維持したままシステムを移行することに成功したのです。
しかしその時、気がつかないところで問題が生じていたのです。
サイトマップはそのままだった！
問題とは、そう、今回の話題の中心になる「サイトマップ」であります。ちなみにうちのサイトでは、
を使ってサイトマップを生成しておりました。
この際、当然ながら移行前の段階で、ミラーサイトでのサイトマップを作っていました。その時のURLは全て
https://airoplane.net/cgi-bin/wp/…..
となっていました。当然ですよね。このサイトマップを、移行後に確認しなかったのが大きな問題だったようなのです。GoogleWebmasterツールによりますと、うちのサイトではクローリングエラーが発生しており、そのほとんどは
https://airoplane.net/cgi-bin/wp/…..
というミラーサイトへのクローリングが失敗している事に起因しているもの。つまり、移動前のサイトマップに準じて、移動前の存在しないURLにクローラーがいってしまい、軒並み404が発生、サイトのインデックスが消えてしまった…ということのようなのです。
悪いことは重なるもので、htaccessをWPが上書きするようにしてしまっていたため、自分で設定した
- https://airoplane.net/cgi-bin/wp/… は https://airoplane.net/ に移行したよ
という命令が上書きされ、効いておりませんでした。むしろ
- このサイトは https://airoplane.net/cgi-bin/wp/ 以下に移ったよ
となっているような状況でした。恐らくこれは、僕が移行に（URLの記載ミスから）1度失敗したからだろう、と考えられています。
さらにさらに、robot.txtも自動生成されおり、クローラーには間違った情報が伝わっていたのです。このことに気づいたのが移行してから5日後。その間にクローラーから「記事が存在しなくなった」と判定されたうちのサイトは、見事にインデックスから消えてしまったのです。
幸いなことにルートドメインである
https://airoplane.net/
は共通していたため、トップページのインデックスが消えることはありませんでした。しかしいうなれば、これがサイトマップ間違いにより、「記事のみ」インデックスから消えてしまったことの証拠。また、MT時代の静的ファイルが残っていたカテゴリのTOPページ、モバイルの個別ページともにインデックスが残っていたことからも、こちらが誤ったパーマリンクを教えてしまったことが原因であろう、と推測されます。
ちなみにウェブマスターツールでSPAMサイト落ちかどうかを確認しましたが、そちらについてはシロ。やはり「個別ページが消えた」と判定されたと考えるのが自然なようです。
一度間違えると、なかなか戻ってこない
今回の件を絶望的にしているのが、この事実です。そう、いちど判定され消されたたインデックスは、なかなか戻ってこないのです。おそらく評価もガタ落ちなのでしょう。これならむしろ、ドメイン移転した方がキレイだったんじゃないか…と思うくらい。けっこうビッグキーワードもっていたんだけどな…。
ということで、2週間もすれば元に戻る…とは信じています。いまはウェブマスターツールとにらめっこしながら、じっと待つのみ…そう信じて、更新を続けていこうと思います。
ちなみに検索からのアクセスが多かったうちのサイトは、現在アクセス数が1/3～1/4までに落ち込んでおります…。うぅ…。
原因不明のこともある
なお、これは誰かに教えて欲しいのですが、件の /cgi-bin/wp/… のフォルダへとリンクをはっているのが、
https://airoplane.net/…/sitemap-post20xx-xx-xx.xml
という、生成した覚えの無いXMLということになっております。何度確認してもこのようなファイルは存在しないし、作った覚えも無いんですよね…。だれかご存じでしたら教えてください。
他の可能性も検討
もちろん他の可能性も捨てきれません。以下の可能性は随時検証されております。
- SPAMサイト扱いになった
- ソースにエラーが多いから（プラグインが原因）
- もっと根本的な原因がどこかに潜んでいる
- ほか？
ぶっちゃけ、誰か助けてください！というレベルです。みなさまのご協力をお待ちしております…。
それでもボクはやってない スタンダード・エディション [DVD]
