テストの「期待する出力」は、どこから来たのか

同じ章の Example 12-15 は、題が Logic concealing a bug(バグを隠すロジック)です。原文から2行を抜粋します。

String baseUrl = "http://photos.google.com/";
...
assertThat(nav.getCurrentUrl()).isEqualTo(baseUrl + "/albums");

baseUrl は / で終わっているので、期待する出力は http://photos.google.com//albums です。

続く Example 12-16 は、同じ期待する出力を "http://photos.google.com//albums" と誤った値のまま書き下した版です(末尾に // Oops!)。原文はその後でこう書きます。

When the whole string is written out, we can see right away that we’re expecting two slashes in the URL instead of just one. If the production code made a similar mistake, this test would fail to detect a bug.

書き下しても値が誤っていれば見逃します。変わるのは、誤りが読む人の目に見える点です。

原文に実装コードはありません。そこで本教材で、同じ連結をする実装を用意しました。2本目は、12-16 の期待する出力を読んだ人が仕様どおり /albums に直した版です。

// 実装: baseUrl が / で終わると // になる
goToAlbumPage() { this.current = this.baseUrl + "/albums"; }
 
// テスト1: 期待する出力を連結で作る(12-15 相当)
assert.equal(nav.getCurrentUrl(), baseUrl + "/albums");
// テスト2: 12-16 の // を / に直して書き下す
assert.equal(nav.getCurrentUrl(), "http://photos.google.com/albums");

$ node --test logic.test.mjs
✔ 連結で作る(12-15 相当) (0.287208ms)
✖ 仕様から書き下す(12-16 の // を / に直した版) (0.385ms)
ℹ pass 1
ℹ fail 1
+ actual - expected
+ 'http://photos.google.com//albums'
- 'http://photos.google.com/albums'

連結で作ったテストは緑です。実装と同じ計算をしているので、同じ誤りを含んだ値同士が一致しました。//albums を捕まえたのは、人が仕様から正しい値を書き下したテストだけです。12-16 の誤った値のままなら、これも緑でした(本教材で確認)。

写す作業を道具にしたのがスナップショットテストです。node:test の文書はこう説明します。

Snapshot tests allow arbitrary values to be serialized into string values and compared against a set of known good values.

known good values(正しいと分かっている値)と呼んでいます。本教材で、金額を桁区切りで整形する関数を使って確かめました。

(b) --test-update-snapshots で生成     ✔ exit=0
  保存された値: "¥0", "¥1,234", "¥1,000,000"
(d) 実装を String(yen) に変える        ✖ exit=1
  + '\n[\n  "¥0",\n  "¥1234",\n  "¥1000000"\n]\n'
  - '\n[\n  "¥0",\n  "¥1,234",\n  "¥1,000,000"\n]\n'
(e) 壊れたまま --test-update-snapshots ✔ exit=0
  保存された値: "¥0", "¥1234", "¥1000000"
(f) フラグなしで再実行                 ✔ exit=0

(d) で赤になります。前回と違うことは検出できます。しかし (e) で壊れたまま更新すると、桁区切りの無い値が新しいスナップショットになり、(f) は緑です。

(b) で保存した "¥1,234" が正しいと判断したのは、ツールではなく中身を見た人です。スナップショットの緑が言えるのは「保存したときと同じ」まで。変更で既存の機能が壊れていないかを確かめる回帰の検出は、この「前回との比較」の上に成り立っています。基準にした前回が正しかったかは、別に確かめる必要があります。