SEOをやっていると、サイトの記事ページってのが、検索エンジンから削除されてしまうケースがちょくちょくあるんですよね。でも、どうしてこんな現象が起こってしまうんでしょうか、、今回はここら辺を考えていきたいと思います。
１．noindexの設置の可能性
そもそもサイトの記事ページが削除されるっていうことは、検索エンジンのクローラーに対して、記事自体の情報を収集させない、もしくはさせたくないってことが考えれます。または、情報を収集させても、検索エンジンにインデックス状態にはさせない（させたくない）可能性があるので、検索エンジンから削除された記事ページのヘッダー部分をよく覗いてみましょう。
上記のようなmetaタグを設置している場合は、クローラーに対して、「このページはインデックスさせないで！」と伝えて、検索エンジンでインデックスさせなくします。
２．ロボットテキスト設置の可能性
検索エンジンのクローラーが巡回することで、サイトの記事ページの情報が拾われ、評価されますが、このクローラーの巡回をサイト自体で拒否していることで、記事の削除がされてしまう可能性もあります。
ロボットテキストってのは、こんか感じで、HTMLを編集できるテキストエディタで、サクッと作れます。
中身を見て、
こんな感じになっていると、サイト自体でクローラーの巡回を拒否していることになりますので、クローラーを巡回させたい場合は、このファイルをサーバー上から削除するようにしてください。User-agentの後の「*」ってのが、全てのクローラーに対しての「巡回しないで！」とメッセージを送っているんですよね。
３．記事ページに対する評価の可能性
サイトの記事が削除されてしまうということは、考えてみれば検索エンジンの保存庫の中で、この記事は必要ないと判断されている可能性があります。つまりは評価が極端が低くなってしまっているんですよね。だから、内部からの評価（内部リンクを増やしてみる等）、そして外部からの評価（他サイトのページからのリンクを増やしてみる等）で、記事ページ自体の評価を上げていくことが大事であると考えています。まあ、簡単言えば、ページに対する愛情を注いでください。
４．ミラーの可能性
これは３番の「記事ページに対する評価の可能性」と似てくるんですが、検索エンジンの保存庫に、他サイトで既に同じような記事ページが保存されていた場合、検索エンジンが何個も何個も同じページをインデックスさせることはせずに、一定のラインを越えてしまうと削除されるのではないかと考えています。検索エンジンが検索結果の上位に表示させたいページで求めているのは、もっとも関連性が近くて、一致度が高いページであると考えているので、例えば、ある程度一致が高いものがインデックスされている状態で何個も何個あって、それを全て上位に表示させてしまうと、不自然な形になってしまう恐れがあるので、ラインを越えてしまうと、削除される対象になるのではないでしょうか。
５．スパムとして通報されている可能性
検索エンジンで、インデックスが削除された例を、このSEOブログの中で探していた時に、
【完結編】Googleのスパムレポートに通報したページの末路!!
これらの記事を発見しました。一番上の記事の内容には書かれていないんですが、もしかすると、Googleのスパムレポートに通報されている可能性もないとは言えないですよね。なので、もし貴方のサイトの記事が削除されてしまったら、記事の内容を確認してみて、他サイトの記事ページとまったく内容が同じでないのかを確認しましょう。その他サイトの運営者等が、Googleのスパムレポートを利用して、スパムであるという報告をされているかもしれません。
６．バグである可能性
これは私の経験なのですが、大きく順位が変動している時などに、恐らく処理か、再評価（もしくはバグ？）の影響で、一時的にインデックスが消されているであろうと思われるケースをいくつか確認したことがあります。まあ、これは一時的なものなので、また元に戻るって来ることも考えるので、慌てずにしばらく様子を見てみるということも大事です。検索エンジンもオール完璧なものかと言えばそうではないので、何らかの影響で、一時的に記事ページが削除されるということを頭の中に入れておきましょう。
ざらっと？ではありますが、検索エンジンにおいて、サイトの記事が削除されてしまうことについて、考えてみました。参考になれば、嬉しいです。
他の記事も読んでみませんか
【内部対策】：タイトルタグだけで上位化させる最高峰のSEO対策”9″つの戦術
【内部対策】：悪意のない、サイト内重複コンテンツでペナルティ”６”事例
【ＣＲＯ】 ：サイトに訪れたユーザーを逃さない、直帰率を改善する”11″の方法
【ツール】 ：プロのSEO技術者なら知っている、使えるツール＆サイト56選！
【戦 略】 ：最高のキーワード選定は上位化率をアップさせSEOを成功へ導く
【内部対策】：Googleの形態素解析アルゴリズムを分析して内部SEOに活用する
【仮 定】 ：関連性の高いサイトからのリンクが危険な理由
【内部対策】：【内部対策】低品質なページを改善して検索順位上げる方法
【調 査】 ：有名サイト、昔と今のタイトルタグを比較
【仮 定】 ：認知度やニーズの変化による検索ランキングの変化
