埋め込みの「近い」は、訓練が近いとしたもの

文の埋め込み(embedding)ベクトルは、文を固定長の数値の並びに写したものです。今回測った all-MiniLM-L6-v2 のカードは It maps sentences & paragraphs to a 384 dimensional dense vector space と書きます。このモデルは訓練でもベクトルの向きの近さ(コサイン類似度)を使っており、今回もそれで測ります。

では、その近さは何が決めているのか。SBERT 論文は、手を加えない BERT について結論でこう書きます。

We showed that BERT out-of-the-box maps sentences to a vector space that is rather unsuitable to be used with common similarity measures like cosine-similarity.

同じ網の構造でも、訓練を加えなければ近さに使えない、という主張です。同じ論文は Hill らの結果として the task on which sentence embeddings are trained significantly impacts their quality とも紹介しています。

all-MiniLM-L6-v2 の訓練目的は、カードにこう書かれています。

We use a contrastive learning objective: given a sentence from the pair, the model should predict which out of a set of randomly sampled other sentences, was actually paired with it in our dataset.

このモデルが学んだ「近い」は、データセットで対になっていたことです。 対の相手を、無作為に選んだ他の文より近くに置くように学びます。カードによれば、訓練データは複数のデータセットを合わせて10億組を超え、行数では Reddit のコメント(2015〜2018年)が最大です。ただし各データセットは重みを付けて抽出されており、カードが示す設定ファイルでは Reddit の重みは全体の約7%です。

埋め込みはよく「意味が近いものほど近くに配置されるよう学習される」と説明されます。これは訓練の狙いとして正しい記述です。今回の実測が示すのは、その逆向きの「近いから同じ意味」が約束されていないことです。

なぜ否定文が近いのか。カードは否定や数値の区別を訓練目的として書いていません。質問と回答、タイトルと本文のように、話題が同じでも主張が同じとは限らない組を対にしている、という読みはできます。ただしこれは教材側の解釈で、原因として確かめたものではありません。

近さの中身が訓練で変わる例は、ほかにもあります。DPR 論文は検索用の埋め込みを learned from a small number of questions and passages と書きます。そこでの「近い」は、この文章がこの質問に答える、という組です。

和文でも1組測りました。多言語モデル paraphrase-multilingual-MiniLM-L12-v2 の結果です。

0.524  デプロイは成功した。 / デプロイは成功しなかった。
0.425  デプロイは成功した。 / リリースは問題なく終わった。
0.917  タイムアウトを30秒にする。 / タイムアウトを300秒にする。
0.914  エラーE1234はディスクが満杯のときに出る。 / エラーE5678はディスクが満杯のときに出る。

このモデルでも、この組では否定文が言い換えより近く出ました。ただし 0.524 と 0.798 を並べて「多言語モデルは否定に強い」とは読めません。値の尺度は各モデルの訓練が決めたもので、比べてよいのは同じモデルの中の大小だけです。 このカードには訓練データの記述が無く、理由も分かりません。