- ブラウザURL入力
- DNS名前→IP
- ルータ経路選択
- ロードバランサ振り分け
- Nginx受け口
- アプリ処理今ここ
- DB保存
第48週は「訓練と評価の構造が推測を報わせる」話でした。今週は、そもそも手元に無い情報について尋ねられたときに何が起きるかを扱います。
まず結論
学習データの時点(カットオフ)はモデルごとに公表されており、モデルが変われば変わります。一般則として特定の日付を覚えても役に立ちません。
そしてカットオフは「そこまでは完璧、そこから先は空白」という鋭い境界ではありません。Anthropic は「信頼できる知識のカットオフ」と「学習データのカットオフ」を別の概念として区別しており、両者が食い違う例が実在します。
あるモデルの「学習データのカットオフ」が7月だとして、6月の出来事については必ず正確に答えられるでしょうか。
当てることが目的ではありません。外した予測ほど記憶に残るので、直感で選んでください。
知らないことには、2つの種類がある
第48週では、推測が報われる構造を見ました。今週はその手前、そもそも手元に無い情報を扱います。
知らないことは2種類あります。時点の外側と範囲の外側です。
時点の外側 学習に使われた期間より後の出来事例: 先月改訂された規格の新しい値性質: 時間が経てば、次のモデルには入りうる範囲の外側 そもそも学習の対象になっていない情報例: 社内の設計資料、非公開の運用手順性質: 時間が経っても埋まらない
この2つを混ぜると対処を間違えます。時点の外側は新しいモデルで近づけますが、範囲の外側はモデルを新しくしても埋まりません。 社内資料は、誰かが渡さない限り入力に現れないからです。
ここが本題 — カットオフは1本の線ではない
「学習データのカットオフ」は提供元が公式に掲げている概念で、モデルごとに日付が公表されています。
ここで素朴な図が浮かびます。カットオフまでは完璧に知っていて、その先は真っ白、という1本の線の図です。この図は提供元の公表内容と合いません。 Anthropic のモデル比較表は、2つの別々の行を掲げています。
Reliable knowledge cutoff 知識が最も広範で信頼できる範囲の終点Training data cutoff 学習に使われたデータの、より広い範囲→ 後者のほうが広い。両者が食い違う例が実在する
表の注記です(日本語版のページでも、この注記は英語のままです)。
"Reliable knowledge cutoff: The date through which the model’s knowledge is most extensive and reliable. Training data cutoff (under Additional details) is the broader range of data used."
信頼できる知識のカットオフは、モデルの知識が最も広範で信頼できる範囲の終点。学習データのカットオフ(Additional details の下)は、使われたデータのより広い範囲。
学習に使われた範囲のほうが広く、信頼できる範囲はその内側にあります。 提供元自身が2つを区別している以上、「学習データに入っている」ことと「その知識が確実である」ことは別です。
だから境界は1本ではなく、内側にも濃淡があります。 ここを「線の手前だから大丈夫」と読むと、第34週の398日のような誤りを見落とします。
「カットオフより前なら完璧、より後なら空白」という理解は、提供元の公表内容と合っていますか。
知らないことを尋ねられたとき、何が起きるか
では、カットオフの外側について尋ねられたらどうなるのか。第48週の内容がそのまま効いてきます。Kalai ら §4.1 の逐語です。
"Under binary grading, abstaining is strictly sub-optimal."
棄権は厳密に劣る選択肢になる。 「わからない」が損になる採点をしている限り、知らない場面でも推測が選ばれ、その推測は §1.2 が示したとおり曖昧ではなく具体的な形を取ります。
つまり「知らないこと」は空白として返ってきません。 読む側から見ると、知っていて答えた場合と区別がつきません。
社内の設計資料のように、公開されていない情報について尋ねたときに整った回答が返ってきました。どう解釈すべきですか。
AIが知らない領域(今週)
学習の範囲外について尋ねても、空白は返ってきません。整った具体的な文が返ってきます。ここで「答えが返ってきたのだから知っているのだろう」と読むと、観測できていないことを観測結果として扱うことになります。
観測したもの 整った回答が返ってきた言えること 出力が生成された言えないこと その情報を持っていた内容が正しい
tcpdump の出力が空だったとき(第26週)
第26週で見たとおり、tcpdump が全件記録するのは自分が観測しているインタフェースを通過したものに限られます。別のインタフェースを通った通信やフィルタ式に当てはまらなかった通信は、起きていても出力に現れません。
観測したもの 出力が空だった言えること この条件では捕まえられなかった言えないこと 通信が起きていない
一方は「答えが返ってきた」、もう一方は「何も返ってこなかった」で、見た目は正反対です。それでも同じ型の誤りが起きます。共通する構造は何でしょうか。
それぞれの場面で「観測できたこと」と「結論したくなること」の間に、どんな飛躍があるかを並べてください。
この章のまとめ
- 知らないことには時点の外側と範囲の外側の2種類がある。後者はモデルを新しくしても埋まらない。
- カットオフは提供元がモデルごとに公表している。モデルが変われば変わるので、日付を一般則として書かない。
- ★カットオフは鋭い境界ではない。 Anthropic は「信頼できる知識のカットオフ」と「学習データのカットオフ」を別の行として掲げ、学習に使われた範囲のほうが広いと定義している。両者が食い違う例が実在する。
- 知らないことは空白では返ってこない。二値採点では棄権が厳密に劣るため、具体的な文として返る(第48週)。
- 整った回答は「知っていた証拠」にならない。観測の限界を対象の性質に読み替えない(第26週の tcpdump と同型)。
- 判断は文章の印象ではなく、照合先を決めて辿ること。
自分の現場で確かめる
読んだだけでは身につきません。手元の環境で実際に見てみてください。
理解度チェック
読んだ直後は「分かった」と感じやすいものです。実際に解いて確かめてください。
研修資料に「このAIの学習データは○年○月までなので、それ以降は知りません」と具体的な日付を書き込むことの問題はどれですか。
用語集(3語)
- 学習データのカットオフ (training data cutoff)
- 学習に使われたデータの範囲を示す時点。提供元がモデルごとに公表しており、モデルが変われば変わる。
- 信頼できる知識のカットオフ (reliable knowledge cutoff)
- Anthropic の定義では「モデルの知識が最も広範で信頼できる範囲の終点」。学習データのカットオフとは別の行として掲げられ、両者が食い違う例が実在する。
- 学習データの外側
- 社内資料や非公開情報のように、そもそも学習の対象になっていない領域。時点の問題ではなく範囲の問題で、時間が経っても埋まらない。