P(A∣B) は「B が起きたという条件のもとで A が起きる確率」を意味します。これを条件付き確率事象 B が起きたとわかったときに事象 A も起きている割合。A と B の同時確率を B の確率で割って定義され、全体を B の縦帯に絞り直してから A の比を測る操作として読める。と呼び、二つの確率の間に「∣」で条件を区切る記法を使います。
独立2 つの事象 A, B について、B が起きたという情報を得ても A の確率が変わらない関係。数学的には P(A ∩ B) = P(A) P(B) または同値に P(A|B) = P(A) で定義する。排反性とは正反対の概念。な場合は更新が起きない: A と B が独立なとき P(B∣A)=P(B) が成り立ち、P(A∣B)=P(A) となります。観測 B が A に関する情報を何ももたらさないとき、事後確率は事前確率のまま変わりません。
視覚的に見る
全体の面積を確率1として、幅を P(A)=0.3 と P(Ac)=0.7 に分けます。それぞれの帯を、条件付き確率P(B∣A)=0.8 と P(B∣Ac)=0.2 の高さで分割します。4セルの面積は同時確率2 つ以上の事象が同時に起こる確率。確率変数 X と Y がそれぞれ特定の値を同時に取る確率を指し、条件付き確率・周辺確率・独立性を定義するための土台になる。に比例します。
メール本文中の単語列から「スパムである確率」を計算する標準的な手法がナイーブベイズ分類器です。メールに含まれる単語 B1,B2,…,Bn が観測されたとき、スパム A である事後確率を計算します。各単語が独立に出現するという仮定(ナイーブ仮定)を置くと、尤度P(B∣A)=∏iP(Bi∣A) に分解でき、大量の学習データから各単語の出現頻度を事前確率・尤度として蓄積して更新し続けます。1990 年代後半から 2000 年代のスパムフィルタに広く組み込まれ、実用上の有効性が示されました。
信用スコアの更新
金融機関が個人の返済履歴という観測データから、デフォルト確率(P(A∣B))を逐次更新する場面でもベイズの定理の構造が使われます。事前確率P(A) は属性情報から決まる初期リスク推定値で、返済履歴という観測 B を積み上げるたびに事後確率に書き換えます。金融庁が整備した「信用情報機関」のデータベースを活用した審査モデルの背後にも、この更新構造が組み込まれています。
トーマス・ベイズ(Thomas Bayes, 1701–1761)は英国の非国教会派牧師で、確率論への貢献は没後に発表されました。ベイズの死後、友人のリチャード・プライス(Richard Price)が遺稿を整理し、1763 年に "An Essay towards solving a Problem in the Doctrine of Chances" として英国王立協会の「Philosophical Transactions」に発表しました。ベイズ自身が生前にこの論文を公開していなかった理由については諸説あり、結果の不完全さを感じていたためとも、当時の哲学的論争に巻き込まれることを避けたためとも推測されています。
ベイズの結果は当初ほとんど注目されませんでした。フランスのピエール=シモン・ラプラス(Pierre-Simon Laplace, 1749–1827)が 1814 年の著作『確率の哲学試論』(Essai philosophique sur les probabilités)でベイズと独立に同じ原理を定式化し、現在の形に整理したことで広まりました。現代では「ベイズの定理」と呼ぶのが慣例ですが、理論的な整備に最も貢献したのはラプラスです。
観測 B を単一の事象ではなく複数の特徴 B1,B2,…,Bn の組に拡張すると、ベイズの定理は次の形になります。
P(A∣B1,B2,…,Bn)∝P(A)i=1∏nP(Bi∣A)
各特徴 Bi が A を条件として互いに独立であるという「ナイーブ仮定」を置くと、尤度が積の形に分解されます。この仮定は現実には成り立たないことが多いですが、分類精度は実用上十分に高く、テキスト分類・スパムフィルタ・文書カテゴリ分類のベースラインとして今も広く使われています。ナイーブベイズは機械学習の歴史上、最も古典的な確率的分類器の一つです。