- ブラウザURL入力今ここ
- DNS名前→IP今ここ
- ルータ経路選択今ここ
- ロードバランサ振り分け今ここ
- Nginx受け口今ここ
- アプリ処理今ここ
- DB保存今ここ
序章は特定の段を持ちません。以後どの段でも、人が確かめる対象はこの地図の上に現れます。
まず結論
エージェントは、言語モデルがツールを呼び結果を次の入力に戻すループです。ループの中の「検証」の主な材料は、ツールが返した観測——終了コード・テスト出力・HTTPの応答——を差し戻すことと、途中で求める人のフィードバックです。
だからツールの観測にも人の確認にも現れない性質には、誤りを示す信号が生じません。任せられるかどうかの境目は、作業の難しさではなく観測窓の内か外かで決まります。
エージェントが「テストは全部通りました」と報告しました。確かめられたと言えるのはどれか。
当てることが目的ではありません。外した予測ほど記憶に残るので、直感で選んでください。
エージェントの「検証」とは何を指すのか
この研修は、AIが出したもっともらしい説明を見抜く訓練です。まずエージェント側の構造を見ます。
Anthropic の記事(2024年12月公開)は、事前定義のコードパスで編成される workflows と、LLM が自らプロセスとツール使用を動的に決める agents を区別し、後者をこう言い表します。
押さえるべきは、手がかりが 環境から戻ってくる 点です。テストの結果、終了コード、HTTPの応答がループの次の入力になります。
つまり エージェントの「検証」の中心は、ツールが返した観測を次の入力に差し戻すことです。同じ記事は "Agents can then pause for human feedback at checkpoints or when encountering blockers." とも書いており、人のフィードバックも訂正の経路になります。どちらにも現れない性質は、訂正の材料になりません。
- ・観測が「違う」と言えば訂正の材料になる
- ・観測に現れない性質は、誤っていても何も返らない
だから境目は 作業の難しさではありません。難しくても失敗が観測として返るならループは訂正の材料を得られ、簡単でも良し悪しが観測に現れないなら材料は返りません。
200 は何を意味していたのか
exit 0 が示すのは検査した性質だけ、ビルド成功はビルドが通るまで。同じ読み方を HTTP にも当てます。200 はステータス行の値。本文が空でも Content-Type が無くても 200 は返せます。RFC 9110 §8.3 は、内容を含むメッセージの送り手についてこう定めます。
生成は SHOULD であって MUST ではなく、無いときの受け手の振る舞いは MAY の二択です。Content-Type が無くても通信は成立します。「200 だから正しい」と読むのは、1つの窓の中の値を窓の外まで広げて読むことです。
エージェントが `curl` を実行し「200 が返りました」と報告しました。言えることはどれですか。
観測の外側で何が起きるか
窓の外側の性質は、誤っていても「誤っている」という入力が返りません。ここで第48週『なぜハルシネーションが起きるのか — 推測が報われる構造』の論が働きます。Kalai らは Abstract で、訓練と評価が不確実性を認めるより推測を報酬として与えるために起きる、と論じています。
We argue that language models hallucinate because the training and evaluation procedures reward guessing over acknowledging uncertainty
窓の内側なら、推測が外れたときツールが「違う」と返し訂正の材料になります。外側にその材料はありません。推測を出す方が報われる構造と誤りを示す入力が返らない領域が重なる場所です。
権限の側からは同じ構造が別の名で語られます。OWASP Top 10 for LLM Applications 2025 の LLM06:2025 Excessive Agency の冒頭の説明(最初の見出しより前)から2文です。
Excessive Agency is the vulnerability that enables damaging actions to be performed in response to unexpected, ambiguous or manipulated outputs from an LLM, regardless of what is causing the LLM to malfunction.
The root cause of Excessive Agency is typically one or more of: excessive functionality; excessive permissions; excessive autonomy.
根本原因はモデルの出来ではなく、与えた機能・権限・自律の幅の側です。窓の外側の作業に広い権限を与えれば、誤りが返らないまま行動だけが進む形になります。
観測器を持ち替えるという選択肢
人の観測器にも同じ制約があります。第26週『パケットを自分の目で見る — 切り分けの型』は tcpdump と strace についてこう述べます。
そして観測には、観測器ごとの見える範囲があります。tcpdump はホストと網の境界を、strace はプロセスとカーネルの境界を記録します。どちらも「境界を通るものを全件書き出す」道具で、境界の外側で起きたことは原理的に映りません。
同じレッスンは読み違えの形も指摘します——観測されなかったものを、存在しなかったことにしている。
strace に出てこないのは「呼ばれなかった」ではなく「この境界を通らなかった」かもしれません。そこで人は tcpdump に持ち替えられます——観測器を選び直せるのです。ループに戻るのはそのとき呼んだツールの観測だけで、広げた窓にもまた外側があります。
「観測窓の外側」をエージェントのループと人とで比べたとき、違うのはどこですか。
差し戻されるツールの結果
exit 0、ビルド成功、HTTP 200。いずれもループの次の入力になり、「違う」と返れば訂正の材料になります。仕様への適合や意図はどれにも現れません。
性質 観測に現れるか ループの扱い検査した性質 現れる 失敗すれば訂正できる仕様への適合 現れない 誤っても何も返らない本文が空の 200 現れない 200 として扱われる
tcpdump と strace(第26週で扱う)
tcpdump はホストと網の境界を、strace はプロセスとカーネルの境界を全件記録します。通ったものは取りこぼしませんが外側は映りません。空の出力は「通らなかった」の意味です。
観測器 記録する境界 外側にあるものtcpdump ホストと網の境界 ホスト内で完結した処理strace プロセスとカーネルの境界 境界を越えない呼び出し
差し戻されるツールの結果と tcpdump や strace の出力。道具も層も違いますが、共通する構造は何か。
「出力に出てこなかった」ことをどう読むかを、両方で考えます。
この章のまとめ
- エージェントは LLM がツールを呼び、結果を次の入力に戻すループ。Anthropic は各段階で環境から “ground truth”(ツール呼び出し結果・コード実行)を得ることを重要とする。
- その「検証」の主な経路は ツールの観測の差し戻しと、途中で求める人のフィードバック。どちらにも現れない性質は訂正の材料にならない。
- 観測に現れない性質には誤りを示す信号が生じない。 仕様への適合・意図・非公開の事情がここに入り、第48週の「推測が報われる構造」が働く。
exit 0も200も 窓の内側の値(RFC 9110 §8.3 は Content-Type 生成を SHOULD、不在時を MAY の二択とする)。- 人も観測窓を持つ(第26週の tcpdump と strace)。違いは 観測器を選び直せること。
- 境目は難しさではなく 観測窓の内か外か。権限の側から扱うのが OWASP LLM06:2025 Excessive Agency。
この先の学びにどう繋がるか
序章は特定の段を扱いません。ここで作ったのは、以後どの段でも使う問い——**「その報告は、どの観測に現れた値なのか」**です。
観測器は第26週『パケットを自分の目で見る — 切り分けの型』、出力の決まり方は第47週『AIはなぜ次の語を選べるのか — 確率分布から1つを取り出す』。誤りが残る構造は第48週と第49週『AIは何を知らないか — カットオフは鋭い境界ではない』、命令として読まれる入力は第50週『命令として読まれる入力 — プロンプトインジェクションの原理』、見抜き方は第52週『総まとめ — もっともらしい説明を見抜く』。
エージェントやMCPの語彙、LLMの用語は扱わず、既存の「AIエージェントとMCP」「生成AIとLLMのしくみ」のクイズ群へ譲ります。本コースが扱うのは一貫して「なぜその仕組みが必要になったのか」だけです。
自分の現場で確かめる
読んだだけでは身につきません。手元の環境で実際に見てみてください。
理解度チェック
読んだ直後は「分かった」と感じやすいものです。実際に解いて確かめてください。
エージェントの「検証」がツールの観測に依存する構造の帰結はどれですか。
用語集(4語)
- エージェント
- Anthropic の記事(2024年12月公開)は、事前定義のコードパスで編成される workflows と区別し、LLM が自らプロセスとツール使用を動的に決めるものを agents と呼ぶ。"They are typically just LLMs using tools based on environmental feedback in a loop."
- ground truth
- 同記事の語。"During execution, it's crucial for the agents to gain “ground truth” from the environment at each step (such as tool call results or code execution) to assess its progress."
- 観測窓
- 本レッスンの言い方。ループが受け取れる観測の範囲。終了コード・テスト出力・HTTPステータスが内側、仕様への適合・意図・非公開情報は外側。外は「無い」ではなく「分からない」。
- Excessive Agency (LLM06:2025)
- OWASP Top 10 for LLM Applications 2025 の項目。"Excessive Agency is the vulnerability that enables damaging actions to be performed in response to unexpected, ambiguous or manipulated outputs from an LLM, regardless of what is causing the LLM to malfunction."