独立性2 つの事象 A, B について、B が起きたという情報を得ても A の確率が変わらない関係。数学的には P(A ∩ B) = P(A) P(B) または同値に P(A|B) = P(A) で定義する。排反性とは正反対の概念。とは、2 つの事象 A, B について、B が起きたという情報を得ても A の確率が変わらない関係です。
定義
独立性(independence、統計的独立)は、2 つの事象 A, B に対して次の積形式で定義します。
P(A∩B)=P(A)P(B)
ここで A∩B は「A と B がともに起きる」事象(積事象)、P(A) と P(B) はそれぞれの事象が起きる確率です。P(B)>0 のとき、この定義は条件付き確率事象 B が起きたとわかったときに事象 A も起きている割合。A と B の同時確率を B の確率で割って定義され、全体を B の縦帯に絞り直してから A の比を測る操作として読める。(B が起きたと分かったときの A の確率)を使った形と同値になります。
P(A∣B)=P(A)
この条件付き形式が独立性の意味を直接表しています。「B が起きた」という情報を受け取っても A の確率が P(A) のまま変わらない、つまり B の発生が A に関する情報を一切運ばないということです。独立を記号で書くとき A⊥B(「A は B と独立」と読む)と表記することもあります。
性質
独立性には次の性質があります。
対称性: A が B と独立なら B も A と独立です。定義式 P(A∩B)=P(A)P(B) が A と B について対称な形をしているので、どちらを「先」に考えても成り立ちます。
同時確率2 つ以上の事象が同時に起こる確率。確率変数 X と Y がそれぞれ特定の値を同時に取る確率を指し、条件付き確率・周辺確率・独立性を定義するための土台になる。が積で求まる: A と B が独立なら同時確率を周辺確率同時分布から特定の変数を足し合わせて消したあとに残る、ある変数単独の確率。ベイズの定理の分母(evidence)として現れる。の積 P(A)P(B) で計算できます。ただし「積で求まる」という覚え方を先行させると核心(情報が運ばれない)を見失います。
情報が運ばれない: P(A∣B)=P(A) なので、B が起きたと観測しても A の予測精度は変わりません。この性質が「複数の情報源を組み合わせる」場面で独立性を前提にする理由です。
C が起きたという条件の下で A と B が独立になる関係を条件付き独立第 3 の事象 C が起きたとわかった条件のもとで、事象 A と B が独立になる関係。無条件の独立性とは別物で、Simpson のパラドックス・ナイーブベイズ分類・因果推論の d-separation など実務の核となる場面に現れる。と呼び、次のように定義します。
P(A∩B∣C)=P(A∣C)P(B∣C)
ベイジアンネットワーク(確率グラフィカルモデル)では条件付き独立性が構造の基礎になっています。「C が A と B の共通原因であれば、C を観測した後で A と B は独立になる」という関係が因果推論で頻繁に登場します。注意が必要なのは、周辺独立 A⊥B(C の情報なしでの独立)と条件付き独立A⊥B∣C(C を条件付けた後での独立)は独立した概念であることです。一方が成り立っても他方が成り立つとは限りません。
独立性と無相関の片方向関係
確率変数試行を行う前の段階では値が定まっておらず、試行を行うと確率分布に従って値が一つ定まる量。慣習として変数本体は大文字、試行後に観測された具体的な値(実現値)は小文字で書き分ける。X と Y が独立ならば共分散はゼロ、つまり無相関になります。