使用率は、占有率でしかない

iostat が出す %util は /proc/diskstats の Field 10 から計算されます(sysstat v12.8.0 のソースで確認)。Field 10 の意味は、kernel の Documentation/admin-guide/iostats.rst が次のように書いています。

Field  9 -- # of I/Os currently in progress
  The only field that should go to zero. Incremented as requests are
  given to appropriate struct request_queue and decremented as they finish.
 
Field 10 -- # of milliseconds spent doing I/Os (unsigned int)
  This field increases so long as field 9 is nonzero.
  Since 5.0 this field counts jiffies when at least one request was
  started or completed. If request runs more than 2 jiffies then some
  I/O time might be not accounted in case of concurrent requests.

This field increases so long as field 9 is nonzero. — Field 10 が見ているのは、Field 9 がゼロか否かだけです。処理中の I/O が1本でも64本でも、同じ速さで増えます。

だから %util は「1本以上走っていた時間」しか数えていません。何本走っていたかを掛けて数えているのは Field 11(weighted)の方で、こちらが aqu-sz の元です。見たいものによって、読むフィールドが違います。

最後の一文も重要です。some I/O time might be not accounted in case of concurrent requests — 並行要求では I/O 時間が計上漏れしうると、カーネル自身が書いています。

範囲が食い違うと何が起きるかを測りました。測定環境は Docker Desktop の Linux VM(カーネル 6.10.14-linuxkit、aarch64)上の --cpus=2 コンテナで、VM 自体は 10 CPU を持ちます。回り続けるプロセス(スピナー)を増やしながら、中から読んだ /proc/stat 由来の使用率、こなしたループ回数、cgroup の cpu.stat が持つ止められた時間を同時に取りました。

cgroup cpu.max = 200000 100000 (quota period -> 2.0 CPUs)
/proc/stat reports 10 CPUs (the VM's, not the container's)
 
spinners  /proc/stat %busy    work units  throttled_usec delta  nr_throttled delta
      1             10.5%      83804478                     0                   0
      2             20.2%     162524627                  7223                   9
      4             20.5%     147266659               8073352                  41
      8             21.3%      82550941              23972547                  40

スピナーを2本から8本に増やしても、使用率は 20.2% から 21.3% までしか動いていません。一方で仕事量は 162,524,627 から 82,550,941 へ、ほぼ半分に落ちています。 その裏で cgroup の throttled_usec は 23.97 秒分増えていました(区間の長さは未記録で、割合は読めません)。

使用率が動かない直接の原因は、分母です。 中から読んだ /proc/stat は VM の 10 CPU を見せており、コンテナの枠が 2 CPU であることを知りません。1本で 10.5% は 10 分の 1 で、この分母と一致します。2 CPU を使い切っても 10 分の 2 = 20% にしかならず、そこから先は増えようがありません。

ただし分母が説明するのは使用率が 20% で止まることまでで、仕事量が半分に落ちた原因は説明できません。この測定では特定していません。

「10 CPU のうち何割がふさがっていたか」に正しく答えています。こちらが「2 CPU の枠にあとどれだけ入るか」を尋ねたつもりでいただけです。 なお nr_throttled は 41 回から 40 回とほぼ同じで、回数だけを見ると「変わっていない」と読めます。増えたのは時間の方です。

VM 上のコンテナでの1回の測定です。一般に CPU 使用率が当てにならない、という話には広げられません。 言えるのは、その数字がどの範囲を数えているかを知らないと余力の話はできない、というところまでです。