最近、Googleウェブマスターツールに登録してあるサイトを覗いていました。
するとこのようなメッセージが、「ウェブマスターツール」の「すべてのメッセージ」を確認した時に届いていました。
案の定、これが届いたサイトはアクセスすることができません。過去２４時間でGooglebotがサイトのDNS情報の取得を行おうとしたけど不可能で、自動的にエラーの発生件数まで表示されるようです。
これもウェブマスターツールに登録している別のサイトで届いていました。今度は最初のものとは内容が異なっていることが分かります。Googlebotがrobots.txtへのアクセスを行ったところ、過去２４時間でエラー１件が発生し、このファイル（robots.txt）に指定されているページはGoogleが自動的にクロールしないようしており、またエラーが取り除かれるまで延期されようです。
いずれも推奨される対処方法は、
サイトのエラー率が 100% の場合:
- ウェブブラウザを使用して http://test.com/robots.txt にアクセスしてみます。ブラウザからアクセスできる場合は、Googlebot のアクセスをサイトで拒否するように設定されている可能性があります。ファイアウォールとサイトの設定を確認して、Googlebot のアクセスを拒否しないようにします。
- robots.txt が静的ページの場合は、そのファイルへの適切なアクセス権がウェブ サービスにあることを確認します。
- robots.txt を動的に生成している場合は、robots.txt を生成するスクリプトを正しく設定していることと、その実行を許可していることを確認します。ウェブサイトのログを調べて、スクリプトでエラーが発生して いないかどうかを確認します。エラーが発生している場合は、そのエラーの原因を診断します。
サイトのエラー率が 100% 未満の場合:
- ウェブマスターツールを使用して、エラー率の高い日を探し、その日のウェブ サーバーのログを調べます。そのログの中で robots.txt へのアクセス エラーを探し、そのエラーの原因を解決します。
- 最も可能性の高い原因は、サイトへの負荷が高すぎることです。ホスティング プロバイダに問い合わせて、ウェブ サーバーを再設定するか、ウェブサイトへのリソースを追加することを相談してください。
問題が解決したと判断された後、Fetch as Google を使用して http://test.com/robots.txt を取得し、Googlebot がサイトに正常にアクセスできることを確認してください。
詳しくは Google のヘルプセンターをご覧ください。
このようになっています。これは「Googlebotがサイトにアクセスできない」というメッセージ内容の下に記載されています。
Googlebotがサイトにアクセスできない場合に対して、Googleからこのようなメッセージが送られてくるようになっているということは、ひょっとしたらGooglebotの性能が格段に良くなっているのではないのかと思ったりしています。確実なことはいませんが。
最後になりますが、もしかしたらこれと似たメッセージが届いている方もいるかもしれません。届いているという方がいたら是非教えてください。
他の記事も読んでみませんか
【内部対策】：タイトルタグだけで上位化させる最高峰のSEO対策”9″つの戦術
【内部対策】：悪意のない、サイト内重複コンテンツでペナルティ”６”事例
【ＣＲＯ】 ：サイトに訪れたユーザーを逃さない、直帰率を改善する”11″の方法
【ツール】 ：プロのSEO技術者なら知っている、使えるツール＆サイト56選！
【戦 略】 ：最高のキーワード選定は上位化率をアップさせSEOを成功へ導く
【内部対策】：Googleの形態素解析アルゴリズムを分析して内部SEOに活用する
【仮 定】 ：関連性の高いサイトからのリンクが危険な理由
【内部対策】：【内部対策】低品質なページを改善して検索順位上げる方法
【調 査】 ：有名サイト、昔と今のタイトルタグを比較
【仮 定】 ：認知度やニーズの変化による検索ランキングの変化
