裾を測るには、裾に落ちた件数が要る

中央値50、裾の長い対数正規分布を模型にします。真の p99 は理論値で 321.5 です。n 件取って p99・p50・平均を出す作業を500回繰り返し、中央95%の範囲を出します。p99 と p50 は nearest-rank で数えます。

# L10: how far p99 / p50 / mean move between samples. lognormal (median 50, sigma 0.8). stdlib only.
import random, math, statistics, sys
seed = int(sys.argv[1]) if len(sys.argv) > 1 else 1
rng = random.Random(seed)
def nearest_rank(x, q):
    s = sorted(x)
    return s[max(1, math.ceil(q * len(s))) - 1]
def sample(n):
    return [rng.lognormvariate(math.log(50), 0.8) for _ in range(n)]
print(f"seed={seed}  500 samples for each n, middle 95% of the 500 estimates")
for n in (100, 1000, 10000):
    p99, p50, mean = [], [], []
    for _ in range(500):
        x = sample(n)
        p99.append(nearest_rank(x, 0.99)); p50.append(nearest_rank(x, 0.5)); mean.append(statistics.fmean(x))
    r = lambda v: (round(sorted(v)[12], 1), round(sorted(v)[487], 1))
    print(f"  n={n}: p99 {r(p99)}  p50 {r(p50)}  mean {r(mean)}  points above p99 ~{n // 100}")
for i in range(2):
    x = sample(1000)
    bs = sorted(nearest_rank([rng.choice(x) for _ in range(1000)], 0.99) for _ in range(2000))
    print(f"  one sample n=1000 #{i + 1}: p99={nearest_rank(x, 0.99):.1f}  bootstrap 95% [{bs[50]:.1f}, {bs[1950]:.1f}]")

seed=1  500 samples for each n, middle 95% of the 500 estimates
n=100: p99 (184.2, 486.2)  p50 (40.4, 60.8)  mean (57.4, 84.6)  points above p99 ~1
n=1000: p99 (263.9, 380.4)  p50 (47.1, 53.2)  mean (65.0, 72.9)  points above p99 ~10
n=10000: p99 (303.3, 341.0)  p50 (49.0, 51.0)  mean (67.6, 70.1)  points above p99 ~100
one sample n=1000 #1: p99=328.0  bootstrap 95% [292.8, 438.2]
one sample n=1000 #2: p99=327.1  bootstrap 95% [281.5, 433.5]

n=1000 の行で、p50 は 47.1〜53.2、p99 は 263.9〜380.4 です。何も変えずに1000件ずつ測り直すだけで、p99 はこの範囲のどこにでも出ます。 改善前後で p99 が 300 から 340 に動いても、それだけでは何も言えません。

n=100 では上位1%が約1件で、p99 は 184.2〜486.2。n=10000 で約100件になると 303.3〜341.0 まで締まり、n=1000 の p50 とほぼ同じ相対幅になりました。端の値は seed で動きます(seed 2 では n=100 の上端が 462.7)。

第13期『写っていないことは、起きていない証拠ではない』で、自作のサンプリングプロファイラを 100 Hz で12回走らせました。rare_spike は決定的な計時で全体の6.70%を占めるのに、1回あたりのサンプル数の平均は 1.00 で、12回中4回は0でした。

構造は n=100 の p99 と同じです。稀な部分に落ちる点が1回あたり1件前後しかなければ、推定は大きく揺れ、ときに0になります。 全体で何サンプル取ったかは効きません。効くのは、その関数の上に何件落ちたかです。

同回が付けた限定もそのまま引き継ぎます。6.70% も「12回中4回」も、その環境のその試行の値です。