SEOの為に、意図的なクローキングをしているサイトはほとんど見かけなくなりました。サイト内に存在しないキーワードで上位化していて、被リンクにもそれらしきアンカーテキストがない場合、ユーザーエージェントを変えてみると、テキストがすごいことになっているサイトがあったり、そういう場合は大抵ディスクリプションでもわかるのですが、微妙なクローキングをしているサイトはわずかですがまだ存在しています。デメリットの方大きすぎますね。ただ、検索順位を操作する目的でないクローキングが最近増えてきたように感じます。それは、LPOやデバイスの振り分け、会員専用コンテンツなど、ユーザーセグメントの機会が増えてしまった為だと思います。
クローキング
クローキングとは、ユーザーと検索エンジンに対して、それぞれ別々のコンテンツを表示させることです。簡単に説明するとこういうことなのですが、覚えておくべきポイントは『検索エンジンに対してのみ、セグメントをかけなければ問題ない』ということです。
デバイスの振り分け
PCと携帯の振り分けは、iphoneでアクセスしてきたユーザーは携帯サイトに飛びます。PCのクローラーはPCサイトをみます。一見、ユーザーとクローラーに対して別々のページを見せている為、クローキングになってしまう可能性が考えられますが、PCデバイス、携帯デバイス2種類の分類の中で生じた振り分けなので、特に問題ありません。
ABテスト
これは、難しい問題ですが、基本的にはSEOでABテストはやらない方がいいかもしれません。内容によりけりですが、まず大幅なテストは少なからず順位に影響がでます。それ以外にも一定の制限がかかってしまうので、リスティングやその他広告でnoindexで導入する方法をお勧めします。クローキングになるかというと基本的には問題ないと思いますが、偏った表示が続いていれば、もしかするとペナルティを受ける可能性は0ではありません。
エリア別のLPO
地域ごとに見せるコンテンツを変更するLPOは、特に問題はありません。デバイスごとの振り分けと同様、エリアごとのセグメントは設定されていますが、検索エンジンだけに用意されたコンテンツが存在しない為です。googleのクローラーは米国から来ますが、米国から来たユーザーも同じコンテンツを見ますので、得に問題はありません。
会員制コンテンツ
ログインしないと見れないコンテンツはクローキングになりません。条件さえクリアしていれば、検索エンジンにも見れたはずだからです。但し、まれにログインしないと見れないコンテンツが、検索エンジンにインデックスされてしまっているサイトがあります。運営者がアクセス数を伸ばしたい為にコンテンツを検索エンジンにのみ認識させているという例です。これはクローキングとなってしまいますので、注意が必要です。
クッキーによって振り分け
初回アクセスの表示と、2度目に訪れたユーザーに対する表示を、クッキーを元に変更するケースがあります。これも会員制コンテンツと同様クッキーを保持すれば、検索エンジンにも同じように見えたはずなので、クローキングと認識されることはありません。
