本文へスキップ
stats-basics#2

散らばりの測り方

読了 約13一覧

範囲・四分位・分散・標準偏差。「なぜ二乗するのか」を平方完成で証明し、絶対値ではなく二乗を選ぶ構造的な理由を掘ります。

stats-01 で、8 人のバイト時給データから平均 1,543.75 円・中央値 1,125 円を計算しました。ところがこの 2 つの代表値だけでは「全員の時給が似たようなものか、H さんのようなケタ違いが混じっているか」という情報が読み取れません。「平均 1,543 円」という数字は、8 人が 1,400〜1,700 円の狭い帯に収まっていても、H さん 1 人が 4,500 円で突出していても、どちらでも同じ値を返します。この記事ではデータの「広がり」を数値で測る方法を扱います。

stats-01 が「代表値」を扱ったのに対し、本記事は「散らばりの大きさ」が主題です。次回(stats-03)は「分布の形」を扱います。

この記事で扱うこと
  • 平均が同じでも散らばり方が違うと情報の意味が変わる、という直感的な例から入ります
  • 散らばりの代表的な指標 4 つ(範囲・四分位範囲・分散・標準偏差)の定義と長所短所
  • 分散の核心「なぜ二乗するのか」を平方完成で証明します。絶対値ではなく二乗を選ぶ構造的な理由
  • バイト時給 8 人のデータで、分散と標準偏差を 手計算で全部追います
  • 偏差をビジュアル化して、分散・標準偏差の「中身」を目で確認します
  • 金融での登場場面(ボラティリティ)
  • 次回 stats-03 では「分布の形」を扱い、歪度・尖度につなげます

同じ平均、違う散らばり

配達時間を想像してみましょう。「午後 1 時〜5 時の間に届く」という案内と「午後 2 時 30 分〜3 時 30 分の間に届く」という案内では、どちらが計画を立てやすいでしょうか。受取可能な時間の平均は両方とも午後 3 時ごろです。配達時刻のばらつき方がまったく違います。前者は 4 時間の幅に分布し、後者は 1 時間の幅です。

「平均が同じ」でも「散らばり方が違う」と情報の意味はまったく変わります。

同じ平均・異なる散らばり(配達時刻の例)

データ数 14単位 配達時刻(時)
  • 平均
  • 広い散らばり
  • 狭い散らばり
同じ平均・異なる散らばり(配達時刻の例)平均 15 時広い散らばり:12 円広い散らばり:13 円広い散らばり:14.5 円広い散らばり:15 円広い散らばり:15.5 円広い散らばり:17 円広い散らばり:18 円広い散らばり狭い散らばり:14.5 円狭い散らばり:14.7 円狭い散らばり:14.9 円狭い散らばり:15 円狭い散らばり:15.1 円狭い散らばり:15.3 円狭い散らばり:15.5 円狭い散らばり12141618配達時刻(時)
どちらのグループも平均は 15 時。上段(広い散らばり)は 12 〜 18 時の 6 時間幅に分布し、下段(狭い散らばり)は 14.5 〜 15.5 時の 1 時間幅。平均が同じでも散らばり方が違えば、配達計画の立てやすさはまったく変わる。

赤い縦線は両グループ共通の平均(15 時)です。両群の平均は同じですが、上段は平均から最大 3 時間離れる点があるのに対し、下段は最大 0.5 時間しか離れません。「平均が同じ」だけでは、データの広がりは見えません。測るには別の量が要ります。


範囲と四分位

散らばりを測る最も直接的な方法は範囲(レンジ)と四分位範囲(IQR)です。どちらも計算は速いのですが、それぞれに弱点があります。

範囲(レンジ)

R=max(xi)min(xi)R = \max(x_i) - \min(x_i)

最大値から最小値を引いた幅です。バイト時給 8 人のデータでは:

R=45001000=3500 円R = 4500 - 1000 = 3500 \text{ 円}

計算は簡単です。ただし H さんの 4,500 円を 45,000 円に変えると範囲は 44,000 円になります。データの両端の 2 点だけで決まるので、外れ値 1 つで大きく変わります。H さんが存在しなければ範囲は 300 円(1,300 − 1,000)です。外れ値に対して範囲は脆弱です。

四分位範囲(IQR)

範囲の弱点を補うのが四分位範囲(IQR: Interquartile Range)です。データを小さい順に並べたとき、下から 25% の位置にある値を 第 1 四分位数(Q1)、75% の位置を 第 3 四分位数(Q3) と呼びます。

IQR=Q3Q1\text{IQR} = Q_3 - Q_1

バイト時給 8 人の場合、Q1 は下位 4 件の中央値で 1,050 円、Q3 は上位 4 件の中央値で 1,250 円((1,200+1,300)/2)です。

IQR=12501050=200 円\text{IQR} = 1250 - 1050 = 200 \text{ 円}

Q1 と Q3 の計算手順は教科書によって微妙に異なります。本記事では「感覚を掴む」ことを優先して詳細な定義の差異には踏み込みません。IQR が示すのは「真ん中 50% のデータが収まる幅」です。H さんの時給を 10 倍にしても IQR は 200 円のままです。外れ値の影響を受けない点で範囲より強固です。

ただし IQR は真ん中 50% の外側のデータを使いません。上下のばらつきが本当に等しいか、外側がどれだけ伸びているかは IQR からは読み取れません。範囲(脆弱)と IQR(鈍感)の中間で、データ全員の情報を使う指標が 分散 です。


なぜ二乗するのか

分散の式は 1n(xixˉ)2\frac{1}{n}\sum(x_i - \bar{x})^2 という形をしています。なぜ二乗を選ぶのか、その理由は 3 ステップに分けて見えてきます。

ステップ 1: 偏差をそのまま足したらゼロ

「各データが平均からどのくらいずれているか」を表す量を 偏差(deviation)と呼びます。

偏差=xixˉ\text{偏差} = x_i - \bar{x}

ii 番目のデータ」から「平均」を引いた差です。バイト時給 8 人で計算してみましょう。平均は 1,543.75 円です。

名前時給偏差(円)
A1,000−543.75
B1,050−493.75
C1,050−493.75
D1,100−443.75
E1,150−393.75
F1,200−343.75
G1,300−243.75
H4,500+2,956.25

これを全部足すと:

i=1n(xixˉ)=0\sum_{i=1}^{n}(x_i - \bar{x}) = 0

H さんの大きなプラスが、残り 7 人の小さなマイナスの合計と相殺されて、ぴったりゼロになります。これは平均の定義から必然的に成り立つ事実です。

計算偏差の合計がゼロになることを式で確認する

平均の定義は xˉ=1ni=1nxi\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i なので、xi=nxˉ\sum x_i = n\bar{x} が成り立ちます。

i=1n(xixˉ)=i=1nxinxˉ=nxˉnxˉ=0\sum_{i=1}^{n}(x_i - \bar{x}) = \sum_{i=1}^{n} x_i - n\bar{x} = n\bar{x} - n\bar{x} = 0

これは数式の上での必然であり、データが何であっても変わりません。

合計がゼロになるということは、「偏差をそのまま平均しても散らばりの情報が取れない」ということです。プラスとマイナスが打ち消し合う仕組みになっています。

ステップ 2: 絶対値を使うと

打ち消し合いを防ぐ自然な方法として、「絶対値を取る」が浮かびます。絶対値偏差の平均を 平均絶対偏差(MAD: Mean Absolute Deviation) と呼びます。

バイト時給 8 人の各偏差の絶対値を計算すると、A〜G の絶対値の合計は 543.75 + 493.75 × 2 + 443.75 + 393.75 + 343.75 + 243.75 = 2,956.25 円、H の絶対値は 2,956.25 円です。合計 5,912.50 円を 8 で割ると、MAD = 739.0625 円です。

MAD は散らばりを測れます。ただし「散らばりの中心がどこか」という問いへの答えが、絶対値と二乗で変わります。なぜ教科書は二乗を選ぶのでしょうか。

ステップ 3: 二乗を選ぶのは構造的な判断

散らばりの 2 つの測り方を比べると、どちらを使うかで「散らばりの中心」が変わります。

下のグラフは H さんを除いた 7 点のデータ(1,000〜1,300 円)を使います(H さんを含めると放物線が見づらくなるため 7 点で描画しています)。

二乗和(放物線)と絶対値和(V字形)の比較最小点 = 平均 1,121 円最小点 = 中央値8001,0001,2001,4001,6001,8002,0002,200基準点 c(円)
二乗偏差の和(放物線)
絶対値偏差の和(V字形)
赤線(二乗偏差の和)の最小点が平均、青線(絶対値偏差の和)の最小点が中央値。二乗を選ぶことで「散らばりの中心」が平均に一意に定まる。

赤線(二乗偏差の和)は 放物線 です。放物線は底が 1 点に決まります。縦軸の値が最も小さくなる点が 1 つしかなく、そこが「二乗和を最小にする基準点 cc」になります。

青線(絶対値偏差の和)は V字形 です。V字の谷は 1 点というより、中央値のあたりで平坦な区間を持つことがあります。データの個数や分布によっては「どこが底か」が一意に定まらないケースが出てきます。

二乗偏差の和 (xic)2\sum(x_i - c)^2 の最小化点が平均値になることは、中学数学の 平方完成 で確認できます。「二乗和の式を cc について整理すると、c=xˉc = \bar{x} のとき最小値を取る形に書き換えられる」だけの話です。

計算平方完成で「最小点 = 平均」を導く(式 3 行)

二乗和の式をそのまま展開します:

i=1n(xic)2=i=1nxi22ci=1nxi+nc2\sum_{i=1}^{n}(x_i - c)^2 = \sum_{i=1}^{n} x_i^2 - 2c \sum_{i=1}^{n} x_i + n c^2

xi=nxˉ\sum x_i = n\bar{x}(合計 = 個数 × 平均)を使って cc について整理します:

=n(c22cxˉ)+i=1nxi2= n(c^2 - 2c\bar{x}) + \sum_{i=1}^{n} x_i^2

c22cxˉ=(cxˉ)2xˉ2c^2 - 2c\bar{x} = (c - \bar{x})^2 - \bar{x}^2 と平方完成します:

=n(cxˉ)2+(i=1nxi2nxˉ2)= n(c - \bar{x})^2 + \left( \sum_{i=1}^{n} x_i^2 - n\bar{x}^2 \right)

第 2 項は cc に依存しない定数です。第 1 項 n(cxˉ)2n(c - \bar{x})^2c=xˉc = \bar{x} のとき 0、それ以外では正です。よって c=xˉc = \bar{x} で二乗和が最小になります。

一方で、絶対値偏差の和 xic\sum|x_i - c| を最小化すると、データが奇数個なら最小点は 中央値 に一致します。偶数個では中央 2 点の間のどこを選んでも最小値を取るので、中央値はその最小区間に含まれる代表点として扱います。


分散と標準偏差

分散(標本分散、nn 割り版):

s2=1ni=1n(xixˉ)2s^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2

記号の意味:

  • s2s^2: 分散を表す記号(ラテン文字を使うのは、これが「標本」から計算した量だという統計の慣例)
  • nn: データの個数
  • xix_i: ii 番目のデータ
  • xˉ\bar{x}: 平均(stats-01 で導入済み)
  • (xixˉ)2(x_i - \bar{x})^2: 偏差の二乗

分散の単位は元のデータの単位の二乗になります。時給(円)から計算した分散は「円²」という単位です。直感的に扱いにくい単位なので、平方根を取って元の単位に戻したものが 標準偏差 です。

s=s2=1ni=1n(xixˉ)2s = \sqrt{s^2} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2}

ss は「各データが平均から典型的にどのくらい離れているか」を元の単位(円)で示します。

標準偏差を使う理由

分散の単位は元データの二乗(円²)で直感に乗りにくいため、平方根を取って元の単位に戻したのが標準偏差です。散らばりの大きさを語るときは、単位がそろう標準偏差を使うのが普通です。

なお、nn で割る版(標本分散)と n1n-1 で割る版(不偏分散)の 2 種類があります。どちらを使うかは「何を推定したいか」によって変わります。本記事では nn 割り版を使い、理由は補足記事(stats-supplement-sample-vs-population-variance)で扱います。


計算(バイト時給 8 人)

バイト時給 8 人のデータで分散と標準偏差を手計算します。

データ: A=1,000 / B=1,050 / C=1,050 / D=1,100 / E=1,150 / F=1,200 / G=1,300 / H=4,500(単位: 円)

平均: xˉ=12350÷8=1543.75\bar{x} = 12350 \div 8 = 1543.75

偏差と偏差の二乗:

名前時給偏差 (xixˉ)(x_i - \bar{x})(円)偏差の二乗(円²)
A1,000−543.75295,664.0625
B1,050−493.75243,789.0625
C1,050−493.75243,789.0625
D1,100−443.75196,914.0625
E1,150−393.75155,039.0625
F1,200−343.75118,164.0625
G1,300−243.7559,414.0625
H4,500+2,956.258,739,414.0625
合計0(✓)10,052,187.5

偏差の合計はゼロです(合計行参照)。プラスとマイナスが打ち消し合う限り、偏差をそのまま平均しても散らばりは測れません。

分散:

s2=10,052,187.58=1,256,523.4375 円2s^2 = \frac{10{,}052{,}187.5}{8} = 1{,}256{,}523.4375 \text{ 円}^2

標準偏差:

s=1,256,523.43751121 円s = \sqrt{1{,}256{,}523.4375} \approx 1121 \text{ 円}

標準偏差約 1,121 円は「この 8 人の時給は平均から典型的に 1,121 円程度ずれる」と読めます。H さんを除いた 7 人だけなら標準偏差は約 96 円で、H さん 1 人が加わることで約 11.7 倍になります。

H さんの偏差 +2,956 円は他 7 人の偏差(最大 −544 円)の 約 5.4 倍 です。ところが偏差を 二乗 すると H さん寄与は 295628,740,0002956^2 \approx 8{,}740{,}000、A さん寄与は 5442296,000544^2 \approx 296{,}000約 29 倍 に拡大します。二乗が外れ値の重みをさらに強める仕組みです。標準偏差は最後に平方根を取って戻すので、原寸に戻したように見えても、分散段階で外れ値が強く寄与した事実は消えません。「平均と中央値だけでなく、平均と標準偏差・中央値と IQR をペアで読む」のはこのためです。


偏差の可視化

下の図はバイト時給 8 人のデータ点と平均値(赤い縦線)を表示します。各点から平均への水平な距離が「偏差」、その距離の二乗が「二乗偏差」です。

偏差の可視化:各データ点と平均の距離1,0002,0003,0004,0005,000時給(円)A:1,000(偏差 -543.75)B:1,050(偏差 -493.75)C:1,050(偏差 -493.75)D:1,100(偏差 -443.75)E:1,150(偏差 -393.75)F:1,200(偏差 -343.75)G:1,300(偏差 -243.75)H:4,500(偏差 +2,956.25)平均 1,544 円ABCDEFGH
各行がメンバー 1 人。水平の点線が偏差(平均からの距離)を表す。H さんの偏差 +2,956 円が他と比べて圧倒的に長い。分散はこの長さの二乗を全員分平均した量。

各行が 1 人です。横軸は時給、縦の赤い線が平均(1,544 円)です。点から平均への水平距離が偏差で、A〜G は左側にあるので偏差はマイナス、H だけ右側でプラスです。偏差の線の太さ・濃さは絶対値の大きさに対応し、H さんの線が一番太く濃くなります(平均から最も遠い)。分散は「この距離の二乗を 8 人ぶん平均した量」、標準偏差は最後に平方根を取って単位を円に戻したものです。

偏差を「長さ」で見たので、今度は「面積」で見ます。各点の偏差を一辺とする正方形を描くと、その面積がそのまま偏差の二乗です。下の図で H さんのスライダーを動かすと、正方形が二乗で膨らみ、分散への寄与が跳ね上がるのが分かります。

触って確かめる:外れ値の「二乗」が分散をどれだけ膨らませるか

データ数 8平均 1,544
  • 各点の偏差²
  • H(外れ値)
触って確かめる:外れ値の「二乗」が分散をどれだけ膨らませるか1,0002,0003,0004,0005,000平均 1,544A:1,000 円(偏差 -544)B:1,050 円(偏差 -494)C:1,050 円(偏差 -494)D:1,100 円(偏差 -444)E:1,150 円(偏差 -394)F:1,200 円(偏差 -344)G:1,300 円(偏差 -244)H:4,500 円(偏差 +2,956)時給(円)A の偏差² = 295,664AB の偏差² = 243,789BC の偏差² = 243,789CD の偏差² = 196,914DE の偏差² = 155,039EF の偏差² = 118,164FG の偏差² = 59,414GH の偏差² = 8,739,414H
分散(偏差²の平均)
1,256,523
標準偏差
1,121
H 1 人の二乗寄与
87%

H さん 1 人の二乗寄与は全体の約 87% です。偏差の段階では H さんは他の約 5.4 倍でしたが、二乗(面積)にすると約 29 倍に拡大し、分散のほとんどを 1 人で占めます。


金融での登場場面

株式・ポートフォリオのリターンの「ボラティリティ(volatility)」は、リターンの標準偏差です。日次リターンや年次リターンのデータに対して分散と標準偏差を計算し、「このポートフォリオは年率何 % のリターンの振れ幅を持つか」を測ります。S&P 500 の年次リターンの標準偏差は、歴史的に年率 15〜20% 程度で推移しています(NYU Stern Damodaran の 1928 年以降データでは約 18.4%)。株式リターンの計算の仕組みとボラティリティの年換算方法は、stats-practice-stock-return-volatility で扱います。


この記事の持ち帰り
  • 散らばりを測る指標は 4 つ: 範囲(脆弱)/ IQR(外れ値に鈍感だが外側情報を捨てる)/ 分散(全員参加・単位が二乗)/ 標準偏差(分散の平方根、元単位に戻る)
  • 二乗を選ぶ理由: 二乗偏差の和は平方完成で n(cxˉ)2+constn(c-\bar{x})^2 + \text{const} に整理でき、c=xˉc = \bar{x} で一意に最小化される。「散らばりの中心」が平均と整合する
  • 絶対値ではダメか: 絶対値偏差の和の最小化点は中央値で、偶数個のときは最小区間に幅が出る。一意性が崩れる
  • 外れ値は分散で増幅される: 偏差 5.4 倍が二乗で 29 倍に拡大。標準偏差で平方根を取って原寸に戻しても、外れ値の寄与は消えない
  • 金融では ボラティリティ = リターンの標準偏差。S&P 500 は年率約 18% 前後で推移

次回: 分布の形

次回(stats-03)はデータ全体の形を見ていきます。ヒストグラムの作り方、分布の「歪み(skewness)」と「尖り(kurtosis)」を数値で表す方法を扱います。分散・標準偏差はデータの「広がりの大きさ」を 1 つの数で要約しますが、「分布がどちら側に歪んでいるか」「中心付近が尖っているか平坦か」という形の情報は別の量を使います。

シェアポストブックマーク
この記事は役に立ちましたか?