アクセス解析・広告測定 – まず精度・誤差を考えよう

  • 2010-10-11 (月) 12:54

ご無沙汰しています。天照SEOの土居健太郎です。9月の最終週に入ってからというもの仕事にかまけて完全に更新が止まっていましたがようやく何とか再開できそうです。しかし何とも嬉しい悲鳴ですね。

さて今回は検索エンジンの話題からちょっと離れて、珍しく解析とか測定という概念についてです。正直言ってしまえば僕自身は広告運用のプロフェッショナルではない(普段から広告管理画面や測定結果とにらめっこしているわけではない)のでその辺についてあまりボロが出るようなことは言えませんが、「運用」ではなく「測定・解析」のお話です。

全部まとめて話すことが出来るわけではありませんが、例えば、WEBで広告を出すにあたって必須で考える事項として「LPO」というものがありますね。ランディングページ(着地ページ)最適化です。これを例に取ってみましょう。

LPOをするにあたって手法として有名なのが「ABテスト」と言われるもので、「A」と「B」という2種類のLPを用意し、クリック先を均等に振り分け、その反応を見ながら調整する手法です。この2種類は極端な話「ヘッダーのアイキャッチの文言を変える」「バナーの色を変える」「コンテンツの並びを変える」程度のパターン分けでも良くて、しばらく運用してみてその反応の良しあしで広告効果の高いページを決める、というもの。これを何度もパターン分けをして繰り返して、広告効果を改善するという感じです。

これ自体は理屈で考えれば有効なはずです。実際にこのテストの繰り返しによって広告効果を高めて利益を伸ばしている事例も多くあります。

問題は「精度」です。もっと言えば「より反応の良いLP」という定義をどこでラインを引くかです。例えば図で考えてみましょう。

abtest

上の図1は「ABに300クリックずつ振り分けた結果」で、下の図2は「ABに10000クリックずつ振り分けた結果」です。
さてどちらが反応が良いLPでしょうか?当然、どちらもAのパターンが良いだろう、というのが一般的な答えだと思います。僕もぱっと見でそう思います。

では、「次に300クリックずつ振り分けた結果」「次に10000クリックずつ振り分けた結果」はどうでしょうか?必ずAが良いでしょうか?とすると、図2のケースではなんだかそんな気がしますね。しかし図1のケースでは微妙な気がしませんか。ひょっとしたらAが1件でBが4件かもしれません。

もし次の300クリックでAが1件、Bが4件で、その後も平均してBの方が良い感じだったとしたら、最初の300クリックの時点でAが良いと決めた時点でいきなり失敗ということに結果的にはなってしまいます。

結局「解析はデータを見るしかなく、データは母数が少なければ特に意味が無い」ってことですね。でもそんなことを言っていたらいつまでたっても選択が出来ないですし行き当たりばったりの戦略を打つしかないってことにもなります。データの「精度(つまりデータとしての正確さとか曖昧さ)」とそこから考えられる「誤差(今後期待される数値の振れ幅)」を考慮してどこで見切りをつけるか、ということのほうが重要だと思います。

ただどちらが良いかも判断できないようなデータを見ながら 「ほら、みんな見てくれよ。僕はABテストを定期的に繰り返してLPOしてるんだぜ。カッコ良いだろ?」 とか言いながらちょこちょこページをいじったり管理画面をいじったりするくらいなら、その時間コンビニでアルバイトした方が多分生産的ですね笑。「何もしなかった方が逆に結果が良かったんじゃない?」と言われてもデータが曖昧なら否定できませんので。

ちなみに今はABテストを例に出しましたが、概してデータとか統計とかを集める際には必ず気にしておかなければならない点があると思っています。

2つ以上のものを比較する場合:比較する環境が同一であること

データから何らかの結論を出す場合:誤差(今後の期待値の振れ幅)が大きくないこと

何かほかにもあるような気がしますが今ぱっと出てこないので何とも言えません。

特にWEBとかをやっているといくらでもデータが取れますが、例えばアクセス解析結果を一通り眺めた結果、「ここ3ヶ月の解析の見解をお伝えします。今年度のWEBサイト売上の目標を倒すためには、どうやら全体としてアクセスが少ないようです」なんていう答えが出てきたらたまらないですね。

ちょっと今後はそれなりのペースで更新していきますので皆さんよろしくお願いします。


コメントを残す