インデックスされていないということは、順位付け以前の問題で、検索エンジンからアクセスされることがありません。何らかの問題が生じていることは明らかですが、原因として考えられる項目が多い為、現在の状況を把握した上で解決方法を実行していくことになります。まず、大きく２つのパターンに分かれます。そもそもインデックスされない、次にインデックスされていたけど、削除されてしまった。２つのパターン別にどのような確認作業を行うべきかをまとめてみたいと思います。
■そもそもインデックスされないケース
①クローラーがページをまだ見つけていない
検索エンジンは、クローラーと呼ばれるプログラムによって、インターネット上のデータを集めています。はじめて公開されたウェブページは、主にリンクをヒントに辿っていきますが、どこからもリンクされていないページは検索エンジンが発見しずらい状況になっています。すでにインデックスされているトップページなどからリンクを貼ってあげることで、見つかりやすくなり、検索エンジンにインデックスされる可能性も高くなります。リンクを貼る以外にも解決方法はありますが、一番手っ取り早くて安定してクロールされます。
②以前のドメイン所有者によるスパム
あなたがはじめてドメインを契約したとしても、そのドメインは以前誰かに使われていた可能性があります。その所有者がスパム行為を行い、検索エンジンに削除されたようであれば、検索エンジンにインデックスされない状況になっている可能性があります。この場合は、まず、ウェブマスターツールに登録して、状況を確認してみましょう。通知が来ているようであれば、ペナルティ解除の施策を行う必要があるかもしれません。過去のサイト状況はこちらで確認
③robots.txtでクローラーを制御している
ウェブマスターは、検索エンジンのクローラーに対して、情報を与えたり、命令したりすることができます。検索エンジンは、ウェブサイトに訪れる前に、まずrobots.txtというファイルを見に来ます。ウェブマスターは、トップページのindex.htmlと同じ階層に設置することで、クローラーに対して、クロールしてはいけないページやインデックスしてはいけないページ、サイトマップのURL場所など、様々な情報を与えることができます。ここでインデックスしてはいけないという指定をしていれば、検索エンジンはインデックスしてくれませんので注意が必要です。
④.htaccessでクローラーを制御している
.htaccessという強制力の強いファイルを設置することができます。このファイルは、通常モバイル端末はモバイル専用サイトへ、引っ越ししたファイルを新しいURLへ移動させるためなどにも使われますが、URLにアクセスさせないということもできますので、検索エンジンのクローラーが対象のURLに辿り着けていない可能性があります。その場合ももちろんインデックスされることはありません。.htaccessに関しては、専門的な知識が必要ですが、robots.txtに関しては、導入しやすく、*があるなしでインデックスされない指定になってしまう可能性があります。実際に間違った指定をしている例を見ることがあります。
④ページの質が低い、コンテンツ不足
検索エンジンのクローラーは、多くのウェブページをクロールしますが、なるべく有益なページからクロールしたいと考えています。例えば、検索結果が見つかりませんでした。とだけ表示されるページは、なるべくインデックスしたくないのです。また、極端に階層が深いページであれば、与えられるページランクも低くなり、開設したばかりのサイトやページ数が膨大なサイトなど、なかなか下層ページまでインデックスしてくれないケースもあります。
⑤クローラーが認識しずらいコンテンツ
検索エンジンはジャバスクリプトもFLASHも読めるようになってきましたが、完全にすべてを認識できるようになったわけではありません。複雑なリンクの飛ばし方をしていた場合、うまくクロールできない可能性があります。基本的にはHTMLソース上にリンクタグが含まれていれば問題ありません。存在しない場合は静的なリンクを設置して、クローラーが辿り着きやすいようにしてあげる必要がります。
■インデックされていたけれど、消えてしまった場合
①ペナルティを受けた
検索エンジンは過剰なseoを嫌う為、場合によってはインデックス削除を行う可能性があります。但し、検索エンジンペナルティでインデックス削除されてしまう例は、クローキングやSEOポイズニングのようなかなり悪質なスパムに対するものが多い為、ほとんどの場合では問題ありません。ただし、WEBサイトがマルウェアなどに感染してしまっている場合は、インデックス削除の処置を取られてしまう可能性があります。
②対象ページへのリンクがなくなった
先ほど説明した通り、検索エンジンのクローラーは、リンクを参考にしてウェブページを収集します。新着情報としてサイトのトップページに掲載されていたけれど、さらに新しい情報が出てきたのでリンクを削除したケースがあれば、その対象ページへたどり着けるリンクがなくなってしまう為、検索エンジンはページを発見することができなくなってしまうかもしれません。
③クローラーがサイトにアクセスできない
先ほどのクローラー制御と内容は同じです。インデックスされていたということは、途中で書き換わった可能性があります。また、robots.txtを挿入していたとしても、被リンクが多い場合などは、検索エンジンに拾われてしまう場合もあります。
④クローラーが来たときにサーバーが重くてタイムアウト
サーバーやシステムによっては、アクセス増加に伴って、非常にレスポンスが遅くなってしまうサイトがあります。数日の間であれば、特に問題はありませんが、しばらく続いてしまった場合には、対象ページをインデックスから外してしまう可能性があります。但し、この場合はサイトのレスポンスの改善さえおこなえれば、元通りクロールされ、インデックスも復活することができます。
⑤ページが存在しない（404エラー）
ページが存在しなければ、自然にインデックスは消滅してしまいます。ドメインの更新忘れなどでアクセスできなくなってしまった場合も同様です。頻繁に起こる問題ではないと思いますが、ついつい忘れてしまった場合の損害はかなり大きいので、注意が必要です。
他の記事も読んでみませんか
【内部対策】：タイトルタグだけで上位化させる最高峰のSEO対策”9″つの戦術
【内部対策】：悪意のない、サイト内重複コンテンツでペナルティ”６”事例
【ＣＲＯ】 ：サイトに訪れたユーザーを逃さない、直帰率を改善する”11″の方法
【ツール】 ：プロのSEO技術者なら知っている、使えるツール＆サイト56選！
【戦 略】 ：最高のキーワード選定は上位化率をアップさせSEOを成功へ導く
【内部対策】：Googleの形態素解析アルゴリズムを分析して内部SEOに活用する
【仮 定】 ：関連性の高いサイトからのリンクが危険な理由
【内部対策】：【内部対策】低品質なページを改善して検索順位上げる方法
【調 査】 ：有名サイト、昔と今のタイトルタグを比較
【仮 定】 ：認知度やニーズの変化による検索ランキングの変化
