← 研修トップ
評価のための統計
改善したら数字が動きました。でも、同じページを2つに分けて何も変えずに比べても、数字は動きます。ばらつきは件数の平方根でしか縮まず、差にも差のばらつきがあります。p値は「何も変わっていない世界」でその結果がどれだけ珍しいかであって、効果の大きさでも、仮説が正しい確率でもありません。覗くたびに偶然の勝者が生まれ、最悪だったものは何もしなくても戻ってきます。数学としてではなく「その改善は本当に効いたのか」を判断する道具として、公的な手引き・原論文・大規模な実験基盤の報告と、標準ライブラリだけで手元で回せるシミュレーションから積み上げます。
- 1約 9 分何も変えなくても、数字は動く同じページを利用者2群に見せて何も変えずに比べても(A/A テスト)、率は群ごとに違って出ます。真の率5%・各群1000人なら、相対で20%以上ずれる確率は約31%です。
- 2約 8 分件数を4倍にして、ばらつきはやっと半分率を測ると、何も変えなくても値は揺れます。その揺れの大きさ(標準偏差)は件数の平方根に反比例して縮むので、件数を4倍にしてやっと半分、64倍にしても8分の1です。
- 3約 8 分1つの数ではなく、幅で言う「30回中21回通った」を「成功率70%」と1つの数で言うと、次に走らせた回の19回との違いが意味ありげに見えます。件数から幅を付けると、2つの95%区間(信頼区間)はどちらも真の成功率 2/3 を含み、差そのものも統計的に有意ではありません。
- 4約 9 分差にも、差のばらつきがある2つの平均の95%区間(信頼区間)が重なっていても、差が無いとは言えません。比べたいのは差そのものであり、差は自分のばらつきを持ちます。
- 5約 8 分同じ相手で比べると、ばらつきが消える新旧を別々の平均で比べると、件ごとの大小の違いがそのまま差の揺れに入り、小さな改善は埋もれます。同じ件で両方を測り、件ごとの差を取ると、件の違いは引き算で消えます。
- 6約 8 分p値は、何も変わっていない世界での珍しさp値は「何も変わっていない世界」で、いま見た差と同じかそれ以上の差が出る割合です。効果の大きさでも、改善が本物である確率でもありません。
- 7約 8 分差が見えないのは、差が無いからとは限らない「統計的に有意でない」は、差が無いことの証拠ではありません。本当に差があっても、件数が足りなければ有意と出る割合((統計的)検出力)は低いままです。
- 8約 9 分覗く回数だけ、偶然の勝者が増える1回の比較なら、何も変わっていなくても統計的に有意と出るのは約5%です。ところが見る回数を増やすと、どれか1回が当たる確率は回数とともに上がります。互いに無関係な20本の指標なら 1−0.95²⁰ で約64%です。
- 9約 9 分最悪だったものは、何もしなくても戻る先週いちばん遅かったものは、何もしなくても今週は速く見えることが多い。測った値は「本当の遅さ」と「その週の揺れ」の和で、最悪を選ぶと上に揺れたものも一緒に選ぶからです。
- 10約 8 分裾を測るには、裾に落ちた件数が要るp99 を決めているのは、上位1%に落ちた少数の点です。1000件集めても、その点は約10件しかありません。この模型では、同じ1000件でも p99 は p50 の相対で約3倍の幅で揺れました。