情報が溢れる今だからこそ知っておきたい「ランダム化比較試験」の考え方



ネットを徘徊していると

「このnoteを買えばモテるようになります!」
「この美容アイテムを飲んだら肌がスベスベになりました!」

みたいな情報がたくさん流れてきます。
発信者の中には良心的な方も多く、アイテムを使った前後の比較写真も一緒に公開して効果を検証してくれる人もいます。

多くの場合、発信者は嘘をついているわけでもないし、悪意があるわけでもありません。
そのことを承知の上で、ネットには様々な情報が反乱しているので、情報を受け取る側としては一旦冷静になって、

「相関関係はあるかもしれないが、因果関係はないかもしれない」

と距離を置いて考えてみることも大切です。

2つのデータの動きに関係性があることを統計学では「相関関係がある」と呼びます。
たとえば、

広告を出したら → アイスの売上が伸びた

という結果が出たとします。
この2つの事象の動きには関係性があるため、「相関関係がある」と言えます。

次に問題となるのは、

広告を出した → 広告の影響で売上が伸びた

と言い切れるかどうかです。

広告を出した(原因) → 広告の影響で売上が伸びた(結果)

のように、2つのデータに原因と結果の関係があることを「因果関係がある」と言います。

実際には、ある2つのデータに相関関係があることがわかっても、その結果を用いて因果関係があるとは言えないことが問題となります。

広告を出した年が猛暑だった場合は、売上が伸びたの原因は広告の効果ではなく猛暑の影響だったのかもしれません。
広告を出した年に突然アイスのインフルエンサーが登場して、突然アイスが流行りまくったのかもしれません。


2つのデータの動きに関係性があっても、そこに原因と結果の関係があるとは言い切れないのです。

同じように、ある個人が「美容アイテムを飲んだら肌がピカピカになった」と紹介していたからといって、美容アイテムと美容効果に明確に因果関係があると言い切ることはできません。

もしかしたらホルモンのバランスが良くなったのかもしれないし、食事が健康的になったことが原因で肌質が改善されたのかもしれません。

次に紹介するランダム化比較試験(Randomized Controlled Trial, RCT)などを通じて因果関係が証明されたものでなければ、明確に「効果がある」とは言い切れないのです。

ランダム化比較試験を実施にはものすごくコストがかかってしまうので、個人のレベルで実施することはできません。

もちろんネットの情報には有用なものがたくさんありますし、僕も助けられている面は多々あります。
とはいえ、ちゃんと検証されていない限りはあくまで個人の感想に過ぎず、「有用な情報だとは思うが、自分にも同じような効果があるとは限らない」程度に考えながら試していくのが良いと思います。

全ての情報を斜に構えて疑えということではなく、必ずしも因果関係があるとは限らないことを念頭に置いて情報に触れていく姿勢が大切です。

自分も3月に「」花粉症の治療に効く「オーソモレキュラー療法」を始めるために買ったサプリメントまとめ」という記事を書いて、効果を自分の身体で検証してはいますが、僕の花粉症が良くなったからといって、他の人に効果があるとは限らない点は強調しなければなりません。

そもそも

  • スギ花粉のピークが過ぎた
  • 食生活が改善されて症状が収まった
  • プラセボ効果があった

などの他の改善要因があったかもしれないからです。

ランダム化比較試験(RCT)とは

ランダム化比較試験はデータから因果関係を測定するための手法です。

たとえば「飲めばモテるようになる薬」、通称「モテ薬」がアマゾンで売られていたとします。

「モテ薬を飲んだこと」が原因で「モテるようになること」を説明するには、「モテ薬を飲む」以外の条件を全て同じにして比較しなければなりません。
図にするとこんな感じです。
f:id:hideyoshi1537:20190406231244j:plain
因果関係によってもたらされた効果を「介入効果(treatment effect)」といいますが、実際に介入効果を計算することは不可能です。

なぜなら同じ時期・同じ条件で試せるのは「モテ薬を飲んだ」か「モテ薬を飲んでいない」かのどちらか一方であり、両方を同時に行うことはできないからです。

それではどうしたら介入効果を計測できるか。頭の良い人が色々と悩んだ結果、「複数人の介入効果を平均した値を出せばええやん」と考えたわけです。
ハーバード大学のドナルド・ルービン教授が、複数人の平均介入効果を測定すれば介入を受けた場合とそうでない場合の効果が比較できることを数学的に証明してくれたのです。

こんな感じで介入を受けるグループと介入を受けない比較グループにランダムに振り分けて、効果の平均を比較します。
f:id:hideyoshi1537:20190406231301j:plain
集団をランダムに分けて両者で効果を比較することで、「モテ薬を飲む」「モテ薬を飲まない」以外の条件の平均値をほぼ同じようにできるのです。

これがランダム化比較試験の考え方です。

このような集団をランダムに振り分けてある要素を比較する手法はウェブ界隈ではABテストと呼びます。
オバマ前大統領は2012年の選挙戦で選挙広告の効果をABテストで比較し、最も効果的なデザインでサイトを表示することで約6000万ドルの追加選挙資金を集めることができました。

グーグルがウェブサイトの文字の色と閲覧者数の因果関係を分析して、最も効果的なデザインを分析していることは有名ですよね。

このようにランダム化比較試験を行うことで、物事の因果関係を明確に導き出すことができるのです。

何かの効果を謳う宣伝は世の中にたくさんありますが、衝動買いしてしまう前に、「ランダム化比較試験によって効果が検証されたものかどうか」を一度確認する姿勢を持っておけば、情報に触れた時に冷静になることができます。


この記事は伊藤公一郎『データ分析の力 因果関係に迫る思考法』を参考に書いていますので、詳細な情報に興味がある方はぜひ読んでみてください。

データ分析の力 因果関係に迫る思考法 (光文社新書)

データ分析の力 因果関係に迫る思考法 (光文社新書)