評価セットで調整すると、評価セットは使い切られる

50件の評価セットで正答率を測ると、出てくる数字は「実力」そのものではありません。同じ実力の案でも、どの事例で当たり外れが出るかによって、数字は上下に揺れます。

1案だけなら、揺れは上にも下にも出るので平均すれば実力に一致します。ところが 30案を測って最大のものを選ぶと、揺れが上に出た案を選ぶことになります。 選んだ時点で、数字は楽観側に偏ります。

同じデータで多くの候補を比べることを 多重比較 と呼びます。候補が多いほど、実力と無関係にどれかが偶然よく見えやすくなります。新しい事例で測り直すと揺れは引き直されるので、上振れは持ち越されません。

実際のプロンプト調整は、30案を先に並べません。評価セットで間違えた事例を見て、そこに効きそうな文言を足し、また測ります。次の案が、前の結果に依存しています。

同じ論文は、ここで静的な補正が使えなくなると書きます。

However such static approaches do not apply if the estimates or hypotheses tested on the holdout are chosen adaptively: that is, if the choice of hypotheses depends on previous analyses performed on the dataset. One prominent example in which a holdout set is often adaptively reused is hyperparameter tuning …

要旨はその帰結を Reusing a holdout set adaptively multiple times can easily lead to overfitting to the holdout set itself. と書きます。表題の「使い切られる」は教材側の比喩で、原典の言い方は評価用データそのものへの過適合(overfitting)です。

評価セットが未使用でなくなる経路はもう1つあります。Sainz らは汚染を trained on the test split of a benchmark, and then evaluated in the same benchmark と書きます。汚染は評価データが 訓練に入る 経路、調整は評価データを 選択に使う 経路です。どちらも、評価では高く新しい事例で下がる点は同じです。