stats-basics#2
散らばりの測り方
範囲・四分位・分散・標準偏差。「なぜ二乗するのか」を平方完成で証明し、絶対値ではなく二乗を選ぶ構造的な理由を掘ります。
前提知識
この記事は役に立ちましたか？
範囲・四分位・分散・標準偏差。「なぜ二乗するのか」を平方完成で証明し、絶対値ではなく二乗を選ぶ構造的な理由を掘ります。
stats-01 で、8 人のバイト時給データから平均 1,543.75 円・中央値 1,125 円を計算しました。ところがこの 2 つの代表値だけでは「全員の時給が似たようなものか、H さんのようなケタ違いが混じっているか」という情報が読み取れません。「平均 1,543 円」という数字は、8 人が 1,400〜1,700 円の狭い帯に収まっていても、H さん 1 人が 4,500 円で突出していても、どちらでも同じ値を返します。この記事ではデータの「広がり」を数値で測る方法を扱います。
stats-01 が「代表値」を扱ったのに対し、本記事は「散らばりの大きさ」が主題です。次回（stats-03）は「分布の形」を扱います。
配達時間を想像してみましょう。「午後 1 時〜5 時の間に届く」という案内と「午後 2 時 30 分〜3 時 30 分の間に届く」という案内では、どちらが計画を立てやすいでしょうか。受取可能な時間の平均は両方とも午後 3 時ごろです。配達時刻のばらつき方がまったく違います。前者は 4 時間の幅に分布し、後者は 1 時間の幅です。
「平均が同じ」でも「散らばり方が違う」と情報の意味はまったく変わります。
赤い縦線は両グループ共通の平均（15 時）です。両群の平均は同じですが、上段は平均から最大 3 時間離れる点があるのに対し、下段は最大 0.5 時間しか離れません。「平均が同じ」だけでは、データの広がりは見えません。測るには別の量が要ります。
散らばりを測る最も直接的な方法は範囲（レンジ）と四分位範囲（IQR）です。どちらも計算は速いのですが、それぞれに弱点があります。
最大値から最小値を引いた幅です。バイト時給 8 人のデータでは:
計算は簡単です。ただし H さんの 4,500 円を 45,000 円に変えると範囲は 44,000 円になります。データの両端の 2 点だけで決まるので、外れ値 1 つで大きく変わります。H さんが存在しなければ範囲は 300 円（1,300 − 1,000）です。外れ値に対して範囲は脆弱です。
範囲の弱点を補うのが四分位範囲（IQR: Interquartile Range）です。データを小さい順に並べたとき、下から 25% の位置にある値を 第 1 四分位数（Q1）、75% の位置を 第 3 四分位数（Q3） と呼びます。
バイト時給 8 人の場合、Q1 は下位 4 件の中央値で 1,050 円、Q3 は上位 4 件の中央値で 1,250 円（(1,200+1,300)/2）です。
Q1 と Q3 の計算手順は教科書によって微妙に異なります。本記事では「感覚を掴む」ことを優先して詳細な定義の差異には踏み込みません。IQR が示すのは「真ん中 50% のデータが収まる幅」です。H さんの時給を 10 倍にしても IQR は 200 円のままです。外れ値の影響を受けない点で範囲より強固です。
ただし IQR は真ん中 50% の外側のデータを使いません。上下のばらつきが本当に等しいか、外側がどれだけ伸びているかは IQR からは読み取れません。範囲（脆弱）と IQR（鈍感）の中間で、データ全員の情報を使う指標が 分散 です。
分散の式は という形をしています。なぜ二乗を選ぶのか、その理由は 3 ステップに分けて見えてきます。
「各データが平均からどのくらいずれているか」を表す量を 偏差（deviation）と呼びます。
「 番目のデータ」から「平均」を引いた差です。バイト時給 8 人で計算してみましょう。平均は 1,543.75 円です。
| 名前 | 時給 | 偏差（円） |
|---|---|---|
| A | 1,000 | −543.75 |
| B | 1,050 | −493.75 |
| C | 1,050 | −493.75 |
| D | 1,100 | −443.75 |
| E | 1,150 | −393.75 |
| F | 1,200 | −343.75 |
| G | 1,300 | −243.75 |
| H | 4,500 | +2,956.25 |
これを全部足すと:
H さんの大きなプラスが、残り 7 人の小さなマイナスの合計と相殺されて、ぴったりゼロになります。これは平均の定義から必然的に成り立つ事実です。
平均の定義は なので、 が成り立ちます。
これは数式の上での必然であり、データが何であっても変わりません。
合計がゼロになるということは、「偏差をそのまま平均しても散らばりの情報が取れない」ということです。プラスとマイナスが打ち消し合う仕組みになっています。
打ち消し合いを防ぐ自然な方法として、「絶対値を取る」が浮かびます。絶対値偏差の平均を 平均絶対偏差（MAD: Mean Absolute Deviation） と呼びます。
バイト時給 8 人の各偏差の絶対値を計算すると、A〜G の絶対値の合計は 543.75 + 493.75 × 2 + 443.75 + 393.75 + 343.75 + 243.75 = 2,956.25 円、H の絶対値は 2,956.25 円です。合計 5,912.50 円を 8 で割ると、MAD = 739.0625 円です。
MAD は散らばりを測れます。ただし「散らばりの中心がどこか」という問いへの答えが、絶対値と二乗で変わります。なぜ教科書は二乗を選ぶのでしょうか。
散らばりの 2 つの測り方を比べると、どちらを使うかで「散らばりの中心」が変わります。
下のグラフは H さんを除いた 7 点のデータ（1,000〜1,300 円）を使います（H さんを含めると放物線が見づらくなるため 7 点で描画しています）。
赤線（二乗偏差の和）は 放物線 です。放物線は底が 1 点に決まります。縦軸の値が最も小さくなる点が 1 つしかなく、そこが「二乗和を最小にする基準点 」になります。
青線（絶対値偏差の和）は V字形 です。V字の谷は 1 点というより、中央値のあたりで平坦な区間を持つことがあります。データの個数や分布によっては「どこが底か」が一意に定まらないケースが出てきます。
二乗偏差の和 の最小化点が平均値になることは、中学数学の 平方完成 で確認できます。「二乗和の式を について整理すると、 のとき最小値を取る形に書き換えられる」だけの話です。
二乗和の式をそのまま展開します:
（合計 = 個数 × 平均）を使って について整理します:
と平方完成します:
第 2 項は に依存しない定数です。第 1 項 は のとき 0、それ以外では正です。よって で二乗和が最小になります。
一方で、絶対値偏差の和 を最小化すると、データが奇数個なら最小点は 中央値 に一致します。偶数個では中央 2 点の間のどこを選んでも最小値を取るので、中央値はその最小区間に含まれる代表点として扱います。
二乗を選ぶのは計算の便宜だけではありません。散らばりの中心を平均値に一意に定める という構造的な判断です。平均を使って中心を定義するなら、その中心から測る散らばりも同じく平均で最小化される量で揃える方が一貫しています。
分散（標本分散、 割り版）:
記号の意味:
分散の単位は元のデータの単位の二乗になります。時給（円）から計算した分散は「円²」という単位です。直感的に扱いにくい単位なので、平方根を取って元の単位に戻したものが 標準偏差 です。
は「各データが平均から典型的にどのくらい離れているか」を元の単位（円）で示します。
分散の単位は元データの二乗（円²）で直感に乗りにくいため、平方根を取って元の単位に戻したのが標準偏差です。散らばりの大きさを語るときは、単位がそろう標準偏差を使うのが普通です。
なお、 で割る版（標本分散）と で割る版（不偏分散）の 2 種類があります。どちらを使うかは「何を推定したいか」によって変わります。本記事では 割り版を使い、理由は補足記事（stats-supplement-sample-vs-population-variance）で扱います。
バイト時給 8 人のデータで分散と標準偏差を手計算します。
データ: A=1,000 / B=1,050 / C=1,050 / D=1,100 / E=1,150 / F=1,200 / G=1,300 / H=4,500（単位: 円）
平均: 円
偏差と偏差の二乗:
| 名前 | 時給 | 偏差 （円） | 偏差の二乗（円²） |
|---|---|---|---|
| A | 1,000 | −543.75 | 295,664.0625 |
| B | 1,050 | −493.75 | 243,789.0625 |
| C | 1,050 | −493.75 | 243,789.0625 |
| D | 1,100 | −443.75 | 196,914.0625 |
| E | 1,150 | −393.75 | 155,039.0625 |
| F | 1,200 | −343.75 | 118,164.0625 |
| G | 1,300 | −243.75 | 59,414.0625 |
| H | 4,500 | +2,956.25 | 8,739,414.0625 |
| 合計 | 0（✓） | 10,052,187.5 |
偏差の合計はゼロです（合計行参照）。プラスとマイナスが打ち消し合う限り、偏差をそのまま平均しても散らばりは測れません。
分散:
標準偏差:
標準偏差約 1,121 円は「この 8 人の時給は平均から典型的に 1,121 円程度ずれる」と読めます。H さんを除いた 7 人だけなら標準偏差は約 96 円で、H さん 1 人が加わることで約 11.7 倍になります。
H さんの偏差 +2,956 円は他 7 人の偏差（最大 −544 円）の 約 5.4 倍 です。ところが偏差を 二乗 すると H さん寄与は 、A さん寄与は で 約 29 倍 に拡大します。二乗が外れ値の重みをさらに強める仕組みです。標準偏差は最後に平方根を取って戻すので、原寸に戻したように見えても、分散段階で外れ値が強く寄与した事実は消えません。「平均と中央値だけでなく、平均と標準偏差・中央値と IQR をペアで読む」のはこのためです。
下の図はバイト時給 8 人のデータ点と平均値（赤い縦線）を表示します。各点から平均への水平な距離が「偏差」、その距離の二乗が「二乗偏差」です。
各行が 1 人です。横軸は時給、縦の赤い線が平均（1,544 円）です。点から平均への水平距離が偏差で、A〜G は左側にあるので偏差はマイナス、H だけ右側でプラスです。偏差の線の太さ・濃さは絶対値の大きさに対応し、H さんの線が一番太く濃くなります（平均から最も遠い）。分散は「この距離の二乗を 8 人ぶん平均した量」、標準偏差は最後に平方根を取って単位を円に戻したものです。
偏差を「長さ」で見たので、今度は「面積」で見ます。各点の偏差を一辺とする正方形を描くと、その面積がそのまま偏差の二乗です。下の図で H さんのスライダーを動かすと、正方形が二乗で膨らみ、分散への寄与が跳ね上がるのが分かります。
H さん 1 人の二乗寄与は全体の約 87% です。偏差の段階では H さんは他の約 5.4 倍でしたが、二乗（面積）にすると約 29 倍に拡大し、分散のほとんどを 1 人で占めます。
株式・ポートフォリオのリターンの「ボラティリティ（volatility）」は、リターンの標準偏差です。日次リターンや年次リターンのデータに対して分散と標準偏差を計算し、「このポートフォリオは年率何 % のリターンの振れ幅を持つか」を測ります。S&P 500 の年次リターンの標準偏差は、歴史的に年率 15〜20% 程度で推移しています（NYU Stern Damodaran の 1928 年以降データでは約 18.4%）。株式リターンの計算の仕組みとボラティリティの年換算方法は、stats-practice-stock-return-volatility で扱います。
次回（stats-03）はデータ全体の形を見ていきます。ヒストグラムの作り方、分布の「歪み（skewness）」と「尖り（kurtosis）」を数値で表す方法を扱います。分散・標準偏差はデータの「広がりの大きさ」を 1 つの数で要約しますが、「分布がどちら側に歪んでいるか」「中心付近が尖っているか平坦か」という形の情報は別の量を使います。