件数を4倍にして、ばらつきはやっと半分

真の率が5%のページを100人に見せれば、平均5人が申し込みます。ただし毎回5人ではなく、少ない日も多い日もあります。何も変えていないのに、観測率は上下します。

件数を増やすと、この揺れは小さくなります。問題は縮み方です。1件ごとの揺れは、独立な件が集まると一部が打ち消し合います。打ち消し合いは完全ではないので、平均の揺れは件数に反比例するのではなく、件数の平方根に反比例して縮みます。件数を4倍にすると揺れは半分、16倍で4分の1、64倍でやっと8分の1です。

実験基盤の報告も、この関係を定義として置いています。

The Standard Error (Std-Err) of a statistic is the standard deviation of the sampling distribution of the sample statistic [9]. For a mean of 𝑛 independent observations, it is 𝜎̂/√𝑛, where 𝜎̂ is the estimated standard deviation.

(Kohavi ら 2012、§2。[9] は原文の参照番号)

大事なのは independent observations の一語です。√n で割ってよいのは、n 件が互いに独立なときです。

√n の n は、独立な件数です。では1000ページビューが、50人から20回ずつ来ていたらどうでしょうか。同じ人の20回は、その人が申し込みやすいかどうかを共有します。

全体の真の率を5%にそろえたまま、利用者ごとの率の偏りだけを変えて、各4000回繰り返しました。

# L2 limit: 1000 page views that come from 50 users x 20 PV each are NOT 1000 independent samples.
import random, sys, math, statistics as st
seed = int(sys.argv[1]) if len(sys.argv) > 1 else 1
rng = random.Random(seed)
U, M, R = 50, 20, 4000
def user_rate(kind):
    if kind == "A": return 0.05
    if kind == "B": return 0.02 if rng.random() < 0.5 else 0.08
    if kind == "C": return 0.5 if rng.random() < 0.1 else 0.0
    if kind == "D": return 1.0 if rng.random() < 0.05 else 0.0
def dist_var(kind):   # variance of per-user rate across users
    return {"A": 0.0, "B": 0.0009, "C": 0.1*0.25-0.0025, "D": 0.05*1-0.0025}[kind]
print(f"seed={seed}  50 users x 20 PV = 1000 PV, overall true rate 5%, {R} repeats")
p = 0.05
for kind in "ABCD":
    v = []
    for _ in range(R):
        c = 0
        for u in range(U):
            r = user_rate(kind)
            c += sum(rng.random() < r for _ in range(M))
        v.append(c / (U*M))
    rho = dist_var(kind) / (p*(1-p))            # intra-user correlation
    deff = 1 + (M-1)*rho                          # design effect
    th = math.sqrt(p*(1-p)/(U*M) * deff)
    print(f"  {kind}: sd={st.stdev(v)*100:.2f}pt theory={th*100:.2f}pt rho={rho:.3f} deff={deff:.2f} effective n={U*M/deff:.0f}")
print(f"  ref: independent n=1000 sd={math.sqrt(p*(1-p)/1000)*100:.2f}pt, n=50 sd={math.sqrt(p*(1-p)/50)*100:.2f}pt")

場面  利用者ごとの率        実効の件数  標準偏差(理論)  実測 seed=1 / seed=2
A     全員5%                     1000     0.69          0.70 / 0.68
B     半分2%・半分8%              735     0.80          0.82 / 0.81
C     1割の人が50%、他は0%         100     2.18          2.14 / 2.18
D     5%の人が毎回、他は決して      50     3.08          3.07 / 3.08

実効の件数は、その揺れが独立な何件分の揺れと同じかを表します。C は1000ページビューあるのに、揺れは独立な100件と同じ2.18ポイントです。D では閲覧した50人と同じ件数になります。

ただし「50人なら n=50」と断定するのも誤りです。偏りが中程度の B では735件並みで、独立な1000件との差は小さく済みます。また、独立でも縮まない場合は別にあります。Kohavi らの2012年の論文は、Sessions/user などの指標で実験を長く回しても区間が縮まなかったと報告し、その理由を、ばらつきを平均で割った値が時間とともに変わることに求めています。独立でない数え方とは別の理由なので、混ぜないでください。