見えるのは遅れた信号だけ — 他ノードの状態は直接には測れない

文書で確かめます。Apache Cassandra の Dynamo ページには、生死の判定についてこうあります。

Gossip forms the basis of ring membership, but the failure detector ultimately makes decisions about if nodes are UP or DOWN. Every node in Cassandra runs a variant of the Phi Accrual Failure Detector, in which every node is constantly making an independent decision of if their peer nodes are available or not.

さらに同じページに、この一文があります。

UP and DOWN state are local node decisions and are not propagated with gossip.

伝播するのはハートビートという信号のほうで、生死の判定は伝播しません。 各ノードが、自分に届いた信号だけを材料に独立に決めています。

対象                      gossip で伝播するか   誰が持つか
ハートビートの状態        する                  送り出したノード発
UP / DOWN の判定          しない                判定を下した各ノード

結果として、同じ相手について、ノードごとに違う判定が同時に存在しえます。 「あのノードは落ちている」は、そう言った1台の意見です。これを取り違えると、そう報告した側を探さないまま、対象ノードのログばかり読むことになります。

別の層で同じ事情が現れる例を見ます。etcd の Tuning ページは、待ち時間の決め方をこう書いています。

Election timeouts must be at least 10 times the round-trip time so it can account for variance in the network. For example, if the round-trip time between members is 10ms then the election timeout should be at least 100ms.

注目したいのは、基準が相手の状態ではなく信号の往復時間だという点です。相手が生きているかを測る値が手元に無いので、代わりに「信号がどれくらいばらついて届くか」を基準にしています。同じページの Time parameters 節には既定値の記述もあります。

By default, etcd uses a 100ms heartbeat interval.

By default, etcd uses a 1000ms election timeout.

そして同ページには、長く取ることの代償も書かれています。

Higher election timeout takes longer time to detect a leader failure.

項目                  値              意味
heartbeat interval    100ms(既定)    信号を送り出す間隔
election timeout      1000ms(既定)   これを過ぎたら選挙を始める
election timeout の下限  RTT の10倍以上  ばらつきを見込むため

ばらつきを吸収するほど検知は遅くなります。この綱引きが起きるのは、相手の状態を直接読めず、届く信号のばらつきしか手掛かりが無いからです。 相手のメモリを読めるなら、10倍という係数は要りません。

なお、遅れた信号で増減を制御すると行き過ぎと揺り戻しが起きます。その帰結は仮想化編『オートスケールは何を見て増やすか — 測定・判断・起動の遅れ』で扱っています。今回の主題はその手前、なぜ信号しか無いのかです。