何も変えなくても、数字は動く

標準ライブラリだけの模型です。両群とも真の率を5%に固定し、1000人ずつ「買ったかどうか」を乱数で決めます。

# L1: A/A test. true rate 5% in both groups, 1000 users each, 10 runs. stdlib only.
import random, sys, math
seed = int(sys.argv[1]) if len(sys.argv) > 1 else 1
rng = random.Random(seed)
print(f"seed={seed}  true 5% both, n=1000 each, 10 runs")
rels = []
for i in range(10):
    a = sum(rng.random() < 0.05 for _ in range(1000))
    b = sum(rng.random() < 0.05 for _ in range(1000))
    rel = (b - a) / a * 100
    rels.append(rel)
    print(f"  run{i}: A={a/10:.1f}% B={b/10:.1f}% diff={(b-a)/10:+.1f}pt rel={rel:+.0f}%")
print(f"  range of rel: {min(rels):+.0f}% .. {max(rels):+.0f}%")

seed=1  true 5% both, n=1000 each, 10 runs
run0: A=5.4% B=5.8% diff=+0.4pt rel=+7%
run1: A=5.8% B=5.0% diff=-0.8pt rel=-14%
run2: A=4.8% B=4.2% diff=-0.6pt rel=-12%
run3: A=5.2% B=5.5% diff=+0.3pt rel=+6%
run4: A=5.5% B=6.5% diff=+1.0pt rel=+18%
run5: A=6.0% B=3.7% diff=-2.3pt rel=-38%
run6: A=5.5% B=4.9% diff=-0.6pt rel=-11%
run7: A=4.9% B=5.2% diff=+0.3pt rel=+6%
run8: A=5.1% B=5.1% diff=+0.0pt rel=+0%
run9: A=4.5% B=4.2% diff=-0.3pt rel=-7%
range of rel: -38% .. +18%

冒頭の「5.4%から5.8%」は run0 です。何も変えていません。run4 では +18%、run5 では −38% 動きました。

ただし、この10回は seed=1 の1組にすぎません。seed=3 では最大 +51% が出ました。10回を1組として2000組回すと、各組の最小の中央値は約 −26%、最大の中央値は約 +35% でした。正側に伸びやすいのは、相対差の分母が A だからです。

1回の A/A で相対差が20%以上になる確率を二項分布で厳密に計算すると 0.3095、10%以上なら 0.6122 です。「統計的に有意」と出た割合は、seed=1 と seed=2 でそれぞれ2万回模擬すると5.2%と4.8%でした。どちらも論文の言う約5%です。

対比のために、同じ処理を20回計るベンチマークを作りました。100万要素のリストから値を探す data.index の時間です。random は毎回探す値を乱数で作り直し、fixed は毎回同じ値(500000)を探します。

# L1 contrast: "same benchmark" timed 20 times. mode random = new input each run, fixed = same input.
import random, sys, time, statistics as st
seed = int(sys.argv[1]) if len(sys.argv) > 1 else 1
rng = random.Random(seed)
data = list(range(1_000_000))
def run(target):
    t0 = time.perf_counter(); data.index(target); return (time.perf_counter() - t0) * 1000
for mode in ("random", "fixed"):
    ts = [run(rng.randrange(len(data)) if mode == "random" else 500_000) for _ in range(20)]
    print(f"seed={seed} {mode:6s} min={min(ts):6.2f}ms median={st.median(ts):6.2f}ms max={max(ts):6.2f}ms max/min={max(ts)/min(ts):7.1f}")

seed=1 random min=  0.16ms median=  2.73ms max=  5.15ms max/min=   32.1
seed=1 fixed  min=  2.68ms median=  2.71ms max=  2.75ms max/min=    1.0
seed=1 random min=  0.16ms median=  2.69ms max=  5.03ms max/min=   31.8
seed=1 fixed  min=  2.69ms median=  2.72ms max=  2.80ms max/min=    1.0

入力を作り直すと、同じ「ベンチマーク」が 0.16〜5.15 ms に散りました。探す値が先頭に近いか奥にあるかで、仕事の量そのものが違うからです。入力を固定すると 2.68〜2.75 ms に縮みます。スクリプトを10回走らせ直しても、fixed は全回が 2.63〜3.03 ms に収まりました。

それでも完全には一致しません。同じ seed の2回目も少し違います。残りは入力以外の揺れです。この Mac では原因を特定していませんが、周波数の変動などの実行環境が候補で、固定できる場合もあります。なお ms の値は機械ごとに変わります。見るべきは値そのものではなく、random と fixed の幅の違いです。