外れ値 | 用語集 | AlphaInsiders

定義

外れ値（outlier）は、データセットの中で他の値から大きく離れた値です。厳密な閾値はデータの分布や文脈に依存しますが、よく使われる目安:

IQR ルール（Tukey）: 四分位範囲 $\mathrm{IQR} = Q_3 - Q_1$ として、 $[Q_1 - 1.5 \cdot \mathrm{IQR},\ Q_3 + 1.5 \cdot \mathrm{IQR}]$ の外側を「外れ値」とみなす
$3\sigma$ ルール: 平均から $\pm 3\sigma$ の外側（正規分布を仮定）。正規分布なら全体の約 0.27% が該当
修正 Z スコア: $|0.6745 (x_i - \mathrm{median}) / \mathrm{MAD}| > 3.5$ を閾値とするロバスト版

性質

外れ値への感度は代表値・統計量によって大きく異なります。

指標	外れ値への感度	理由
平均	高い	線形に引きずられる（ $L^2$ ノルム）
中央値	低い	順位だけ見るのでロバスト
標準偏差	高い	二乗が外れ値を増幅
IQR	低い	25% / 75% 点だけ見るのでロバスト
MAD	低い	絶対偏差の中央値

視覚的に見る

8 人のバイト時給 $(1{,}000,\ 1{,}050,\ 1{,}050,\ 1{,}100,\ 1{,}150,\ 1{,}200,\ 1{,}300,\ 4{,}500)$ に Tukey の IQR ルールを適用すると、H さんが明確に外れ値として識別されます。

$Q_1 = 1{,}050$ 、 $Q_3 = 1{,}250$ 、 $\mathrm{IQR} = 200$
上限 = $Q_3 + 1.5 \cdot \mathrm{IQR} = 1{,}250 + 300 = 1{,}550$
$4{,}500 > 1{,}550$ なので H さんは外れ値

横軸は時給（円）。青緑の点が 7 人の通常データ、右に離れた赤い点が H さん（4,500 円）。青い 2 本の縦線が Q1（1,050 円）と Q3（1,250 円）、それを結ぶ太い青帯が IQR（200 円）。赤い破線が外れ値の上限 1,550 円で、これを超える H さんだけが外れ値として識別される。

この閾値は データに依存して自動的に決まる のがポイントです。Tukey の IQR ルールは「データの内側 50%（IQR）の 1.5 倍を越えた点」と相対的に定義するため、データのスケールが変わっても比例して閾値が動きます。 $3\sigma$ ルールは正規性を仮定するため、歪んだ分布ではしばしば「外れ値の取りこぼし」「正常データの誤検出」が起きます。

実世界での使われ方

外れ値の検出と取り扱いは、データサイエンス・統計実務の中核作業の一つです。

金融リスク管理: 株価の大暴落（リーマンショック、コロナショック）は通常のリスクモデル（正規分布前提）では「100 年に 1 度」と評価される頻度で発生します。Mandelbrot の重い裾理論や Taleb の「ブラックスワン」議論は、金融データが正規分布に従わないことを前提に外れ値を扱う必要を強調しています（Taleb, The Black Swan, 2007）。
製造業の品質管理: 統計的工程管理（SPC）の管理図（control chart）では、 $\bar{x} \pm 3\sigma$ の管理限界を越えた点を「特殊原因」として識別。経済産業省の品質管理規格（JIS Z 9020）に体系化されています。
臨床試験・公衆衛生: 検査値の外れ値検出は誤入力・センサー異常の検出に直結します。厚労省の国民健康・栄養調査では生体測定値に対するクリーニング手順が定義されています。
機械学習の前処理: scikit-learn の Outlier Detection には Isolation Forest、Local Outlier Factor、One-class SVM などが実装され、教師なし学習タスクとして広く利用されます。
不正検知: クレジットカード不正取引の検出は外れ値検出問題そのもの。通常の購買パターンから「離れた」取引をフラグする教師あり/教師なしハイブリッドが Visa・Mastercard で実運用されています。

深掘り

影響関数と breakdown point はロバスト統計の専門概念で、L3 以上向けです。

影響関数と breakdown point

外れ値への感度を理論的に測る道具が 影響関数（influence function）と 崩壊点（breakdown point）です。崩壊点は「全体の何割までデータが任意の値に置き換わっても推定量が有界に留まるか」を表します。

推定量	崩壊点
平均	$1/n \to 0$
中央値	$1/2$
トリム平均（25% トリム）	$1/4$
MAD	$1/2$

中央値・MAD は理論上の最大値 $1/2$ を達成します（半数まで汚染されても暴れない）。この値は 任意のロバスト推定量で達成可能な上限 で、これより上は構造的に不可能と Donoho-Huber が示しています（Huber, Robust Statistics, 1981）。

外れ値か、構造的データか

実務で最も重要な判断は 「この外れ値は除去すべきか、保存すべきか」 です。

入力ミス・センサー異常 が原因 → 除去または補正が筋
裾の重い分布の構造的特徴 → 保存して分析、ロバスト統計を使う
新規発見の兆候（不正取引、新疾患の患者）→ むしろ外れ値こそ調査対象

「外れ値を機械的に除いてから平均を取る」のは、目的を見失った操作 になることがあります。stats-01 で扱う所得分布の H さん（4,500 円）は外れ値ですが、所得格差を語る場面では H さんの存在こそ分析に欠かせないデータです。

Robust 推定との接続

ロバスト統計学は外れ値の存在を前提に設計された推定論で、代表的なアプローチが Huber 損失です。

\rho_{\delta}(r) = \begin{cases} \frac{1}{2} r^2 & |r| \le \delta \\ \delta(|r| - \delta/2) & |r| > \delta \end{cases}

$|r|$ が小さい範囲では二乗（平均的）、大きい範囲では線形（中央値的）に振る舞うため、平均のロバスト版として機能します。XGBoost や深層学習の損失関数（Smooth L1 Loss）など、現代の機械学習ライブラリにも組み込まれています。

詳しくは

stats-01: 平均値と中央値の使い分け — 1 人の外れ値（H さん）が平均と中央値に与える影響の違い

定義

性質