同じ相手で比べると、ばらつきが消える

Student(1908)の Illustration I は、10人の患者に2種類の睡眠薬を使い、それぞれで増えた睡眠時間を並べた表です。

Patient  1 (Dextro-)  2 (Laevo-)  Difference (2-1)
1          +0.7        +1.9        +1.2
2          -1.6        +0.8        +2.4
3          -0.2        +1.1        +1.3
4          -1.2        +0.1        +1.3
5          -1 (※)      -0.1         0
6          +3.4        +4.4        +1.0
7          +3.7        +5.5        +1.8
8          +0.8        +1.6        +0.8
9           0          +4.6        +4.6
10         +2.0        +3.4        +1.4
Mean       +0.75       +2.33       +1.58
S.D.        1.70        1.90        1.17

最後の S.D. の行を見てください。元の2列は 1.70 と 1.90 なのに、差の列は 1.17 です。2列が独立なら差の S.D. は √(1.697² + 1.899²) ≈ 2.55 になるはずで、実際はその半分以下です。Student 自身が理由を書いています(p.21)。

The low value of the S.D. is probably due to the different drugs reacting similarly on the same patient, so that there is correlation between the results.

同じ患者は、どちらの薬にも似た反応を示します。2列の相関は計算すると 0.795 です。患者の違いが両方の列に同じ向きで入っているので、差を取ると消えます。

冒頭の40件を模型にしました。件の大きさは対数正規で大小さまざま、新版は全件で2%速く、測るたびに2%の揺れが乗ります。1回の t だけでなく、同じ設計を2000回繰り返した散らばりも出します。

import random, sys, math, statistics as st
def trial(rng, n=40):
    items = [rng.lognormvariate(3, 1) for _ in range(n)]  # 40 items, sizes differ a lot (ms)
    A = [t*rng.gauss(1, 0.02) for t in items]             # old: 2% noise per measurement
    B = [t*0.98*rng.gauss(1, 0.02) for t in items]        # new: 2% faster on every item
    d = [b-a for a, b in zip(A, B)]
    t_unp = st.mean(d)/math.sqrt(st.variance(A)/n + st.variance(B)/n)
    t_pair = st.mean(d)/(st.stdev(d)/math.sqrt(n))
    return items, st.mean(d), t_unp, t_pair
seed = int(sys.argv[1]) if len(sys.argv) > 1 else 1
items, md, tu, tp = trial(random.Random(seed))
print(f"seed={seed} items {min(items):.1f}..{max(items):.1f} ms  mean diff={md:.3f} ms")
print(f"  one run : unpaired t={tu:.2f}  paired t={tp:.2f}")
rng = random.Random(seed); R = 2000
res = [trial(rng)[2:] for _ in range(R)]
for k, name in ((0, "unpaired"), (1, "paired")):
    v = [r[k] for r in res]; q = st.quantiles(v, n=20)
    print(f"  {R} runs {name:8s}: median t={st.median(v):.2f}  5-95%: {q[0]:.2f}..{q[-1]:.2f}  |t|>2.02: {sum(abs(x) > 2.02 for x in v)/R:.1%}")

seed=1 items 5.8..111.9 ms  mean diff=-0.521 ms
one run : unpaired t=-0.09  paired t=-3.53
2000 runs unpaired: median t=-0.08  5-95%: -0.14..-0.03  |t|>2.02: 0.0%
2000 runs paired  : median t=-2.88  5-95%: -4.35..-1.34  |t|>2.02: 82.8%
seed=2 items 2.4..177.7 ms  mean diff=-1.025 ms
one run : unpaired t=-0.11  paired t=-3.20
2000 runs unpaired: median t=-0.08  5-95%: -0.14..-0.03  |t|>2.02: 0.0%
2000 runs paired  : median t=-2.88  5-95%: -4.40..-1.41  |t|>2.02: 83.5%

|t| が 2.02 を超えたら「検出」と数えています(40組で両側5%の目安)。対応なしは2000回で一度も検出しません。対応ありは8割強で検出します。 冒頭の -3.53 は対応ありの中でも出来の良い側で、繰り返すと t は 5〜95% で -1.3〜-4.4 程度に散ります。「対応を取れば必ずはっきり出る」ではありません。

逆向きも回しました。全件が同じ 20ms で件の違いが無く、測るたびに10%揺れる模型です。検出は対応なし 15.0%・対応あり 15.2%(seed=1)、14.9%・14.1%(seed=2)で、差がありません。(この模型の対応なしは自由度78の閾値 1.9913 で判定しています。2.0227 に揃えても 14.4% で、結論は変わりません) 消すべき件の違いが無ければ、引き算で消えるものもありません。