← 研修トップ
セキュリティとAIの仕組み
なぜそれが危険なのか、そしてAIはなぜもっともらしく間違えるのか。第1〜3期で積み上げた原理を使って、脅威の因果と言語モデルの機構を扱います。52週の終着点です。
- 1約 9 分信頼の境界 — どこから先が「他人の入力」か「信頼境界」という語は現場で広く使われますが、本教材で確認した範囲では、NIST の用語集にも RFC 4949 にも見出し語として見つかりませんでした。**語が広く使われていることと、一次ソースの定義があることは別です。**
- 2約 9 分なぜ入力がコードになるのか — インジェクションの原理文字列を組み立ててから渡すと、**コードとデータが1本の文字列に溶けます**。溶けた後では、どこまでが命令でどこからが値かを、受け取った側が文字の並びだけで決め直すことになります。
- 3約 9 分メモリを踏み越える — バッファオーバーフローの原理第8週で**アドレスはバイト単位で振られた通し番号**だと見ました。番号が連続しているということは、ある領域の「続き」が別の何かの領域だということです。**書き込みの範囲が検査されなければ、続きを書くことは隣を書き換えることになります。**
- 4約 9 分なぜ盗み見できるのか — 平文と経路上の第三者盗聴が成立するのは、攻撃者が特別な力を持つからではありません。**経路上に居られる**ことと、**流れているものが平文である**こと。この2つが揃うだけで成立します。
- 5約 9 分鍵を配る問題 — 対称鍵と公開鍵はなぜ両方要るのか対称鍵だけの世界では「最初の1本をどうやって相手に届けるか」が解けません。RFC 4949 は、まだ鍵を共有していない2者に鍵を渡す役として**双方と既に鍵を共有している第三者**(KDC)を挙げています。
- 6約 8 分「本人である」の作り方 — 認証と認可は別物認証は「主張された属性値を検証する」過程、認可は「リソースへのアクセスを認める承認」。検証しているものが**主張**か**アクセス**かで別物です。
- 7約 9 分なぜハッシュは戻せないのか — 一方向性と保存パスワードを保存するとき、後から元に戻せないことが要件になります。NIST SP 800-63B-4 は「オフライン攻撃に耐える形で保存する」「ソルトを付けてハッシュする」を **SHALL** で求めています。
- 8約 9 分AIはなぜ次の語を選べるのか — 確率分布から1つを取り出す言語モデルの出力は「次の語」そのものではなく、候補全体に広がった確率分布です。実際の1語は、その分布から選ぶ工程で決まります。
- 9約 9 分なぜハルシネーションが起きるのか — 推測が報われる構造ハルシネーションは「バグ」ではなく、「データの誤り」だけが原因でもありません。Kalai らは、訓練と評価の手続きが不確実性を認めるより推測を報酬として与えるために起きる、と論じています。
- 10約 9 分AIは何を知らないか — カットオフは鋭い境界ではない学習データの時点(カットオフ)はモデルごとに公表されており、モデルが変われば変わります。一般則として特定の日付を覚えても役に立ちません。
- 11約 9 分命令として読まれる入力 — プロンプトインジェクションの原理OWASP LLM01:2025 は「利用者のプロンプトがLLMの挙動や出力を意図しない形で変えるとき」に起きる脆弱性と定義します。外部の文書やWebページから入ってくる間接注入も、同じ項目に含まれます。
- 12約 9 分壊れた後に何をするか — 検知・ログ・封じ込め壊れた後にまずやることは、原因を当てることではありません。**どこまで届いたのか**を確定させることです。第27週の「どの段が応答を作ったのか」と、まったく同じ問いを使います。
- 13約 9 分総まとめ — もっともらしい説明を見抜く52週の最後は、新しい知識を足す回ではありません。**手持ちの知識で、もっともらしい誤りを見抜く**練習をします。誤りを見つけるだけでは足りず、**なぜ誤りなのかを自分の言葉で言えること**までが目標です。