そろそろGoogleのクローラーについて一言いっておく

この前、晴練雨読さんを見ると、なんと、、

 

 

メディアフェイスのシンボルが表示されるようになってました。こんなブログなのに、、どうもありがとうございますというしかないです。

 

それから、晴練雨読さんに載っている記事を読んでいて、WEB in the morningさんのブログで、Googleのクローラーについて書いてありましたが、これは私も1つではなくいくつかのクローラーがウェブサイトを巡回していると感じています。
La Machine_42
La Machine_42 / ajari


昔のYahoo!のクローラーより、Googleのクローラーの方が断然ウェブサイトに巡回してくるスピードが早いしね。この早さももしかしたら、いくつかのクローラーが時間帯を決めてうまくウェブサイトを巡回するようにしてるのかもしれない。

 

 

たまに、Googleの検索結果で、通常であれば「aaa.com」のようにドメイン名がインデックスされるけど、上のように、「123.123.123.123」というIPをインデックスしていることが確認できる場合がある。

 

これってやっぱり、クローラーはサーバーの中にどんなファイルが置いてあるのか確認している可能性があります。なので、怪しいファイルなどを入れている人は見れちゃってるかも、、。

 

通常のドメイン名と、このようなIPが両方インデックスされている場合は検索エンジンから重複コンテンツとして判断されないとも限らないので、canonical属性や.htaccessの設定でドメイン名の方が正しいURLですよと教えてあげるようにしましょう。

 

あとは、たまに検索結果で見るのが「http://」と「https://」の両方がインデックスされて、そのページの内容もほぼ一緒になってしまっている場合は鈴木謙一氏の海外SEO情報ブログでもHTTPS(SSL)ページをインデックスさせない方法という記事が載っていますが、httpsのページにクローラーのアクセスさせないような設定をして、重複コンテンツと判断される恐れがあるので、インデックスさせるの防ぎましょう。

 

アクセスを拒否しないと、クローラーっていうのは、どこまででも辿っていくので、、「そこに道があれば進む」みたいな。

 

 

 

ここまでSEOブログ書いてますけど、以下の画像は4月7日までのアクセス解析のデータです。

 

 

TwitterでいろんなSEOをやっている人に積極的に絡んでたり、MF-SEO.COMのトップページにブログの記事が載るようになったりと、いろいろやってるとアクセスの方も増えてきてます。

 

 

上がTwitterからのアクセスでブログを更新し始めて、何気なく使ってみてたんですが、まさかこんなにもアクセスが来るなんて思ってもいなかったんで、ビックリしてます。まさにTwitter効果さまさまです。

 

Facebookもやろうと予定してますが、まだちゃんと出来てませんので、いつ公開になるのやら、、。

 

 

 

 

 

 

 

 

 

 

 

 


他の記事も読んでみませんか
【内部対策】:タイトルタグだけで上位化させる最高峰のSEO対策”9″つの戦術
【内部対策】:悪意のない、サイト内重複コンテンツでペナルティ”6”事例
【CRO】 :サイトに訪れたユーザーを逃さない、直帰率を改善する”11″の方法
【ツール】 :プロのSEO技術者なら知っている、使えるツール&サイト56選!
【戦 略】 :最高のキーワード選定は上位化率をアップさせSEOを成功へ導く
【内部対策】:Googleの形態素解析アルゴリズムを分析して内部SEOに活用する
【仮 定】 :関連性の高いサイトからのリンクが危険な理由
【内部対策】:【内部対策】低品質なページを改善して検索順位上げる方法
【調 査】 :有名サイト、昔と今のタイトルタグを比較
【仮 定】 :認知度やニーズの変化による検索ランキングの変化