誰の要求を分母に入れるか — ヘルスチェック、prober、ボット

この回で決めることは、分母に入る要求の出どころです。アクセスログには利用者の要求のほかに、ヘルスチェック、prober(利用者の経路を模した要求を定期的に送り、応答を確かめる仕組み)、ボットの要求が並びます。どれも nginx から見れば同じ1行です。

分子は Workbook 付録A の定義に固定します。

Any HTTP status other than 500–599 is considered successful.

動かすのは分母だけです。第3期『死活監視』で見たとおり無償版 nginx は自分から確認の要求を送らないので、今回のヘルスチェックは nginx の外(kubelet を模したチェッカー)から来ます。

ヘルスチェックと prober はどちらも自分で出す要求ですが、目的が違います。

ヘルスチェックは、そのインスタンスが応答できるかを知るための要求です。Kubernetes では readiness の失敗で the EndpointSlice controller removes the Pod's IP address from the EndpointSlices of all Services that match the Pod(Pod Lifecycle)。kubelet の HTTP プローブは既定で kube-probe/<major>.<minor> を名乗ります(request.go の userAgent()、httpHeaders で上書き可)。この UA は kubelet のコンテナプローブのもので、クラウドの LB などのヘルスチェックが何を名乗るかは製品ごとで、確かめていません。

prober は利用者の経路を模して、体験の代理を狙います。原典の扱いは向きが分かれます。

• SRE Book 第4章は、標準テンプレートに書けば個々の SLI 仕様から省ける項目の例として Which requests are included: “HTTP GETs from black-box monitoring jobs” を挙げます。推奨ではなく例です。
• Art of SLOs 参加者ハンドブック(印字頁17)は prober の短所の1つに – Probe traffic can drown out real traffic. を挙げます(PDF の合字を通常の文字に直して引用)。
• Workbook 第5章は、実利用が少ないサービスに Generate artificial traffic to compensate for the lack of signal from real users. と書きます。
• Art of SLOs 進行役ハンドブック(印字頁21)は、prober に固有の UserAgent を名乗らせ、ログの集計で ignore those requests as invalid とする例を挙げます(PDF 抽出の語割れを直して引用)。ただし同じ頁の仕様の箇条は Valid requests have a UserAgent of /^wooden-stake v[\d.]+$/ とあり、文面どおりなら逆に読めます。

一方、「ヘルスチェックを分母から外せ」「ボットを外せ」と書いた文は、SRE Book 第4・6章、Workbook 第2・5章・付録A、Art of SLOs の2冊、Google Cloud の概念ページを確かめた範囲に見つかりませんでした。書けるのは、参加者ハンドブックの validity is determined by request parameters such as hostname or request path を当てはめた自分たちの判断と、窓1の数字までです。