期待値
サイコロを 1 回振ったときの期待値は 3.5 ですが、3.5 という目はサイコロに存在しません。「期待値」が指すのは 1 回の結果ではなく、無限回繰り返したときの平均値です。stats-01 の度数分布表で度数が果たしていた重みを stats-05 の確率に置き換えた構造、確率変数と実現値の記号区別、独立でなくても成り立つ線形性、二項分布の期待値を 2 行で導く威力までを離散の範囲で整理します。
サイコロを 1 回振ったときの期待値は 3.5 ですが、3.5 という目はサイコロに存在しません。「期待値」が指すのは 1 回の結果ではなく、無限回繰り返したときの平均値です。stats-01 の度数分布表で度数が果たしていた重みを stats-05 の確率に置き換えた構造、確率変数と実現値の記号区別、独立でなくても成り立つ線形性、二項分布の期待値を 2 行で導く威力までを離散の範囲で整理します。
サイコロを 1 回振ったとき、期待値は 3.5 です。その 3.5 はサイコロのどの目とも一致しません。「期待値」という言葉は 1 回の試行結果ではなく、無限回振り続けたときの平均値という直感を指しています。stats-01 で見た度数分布表の平均をそのまま確率で書き直したものが、この数学的定義です。
サイコロを 1 回振ったとき、出る目は 1・2・3・4・5・6 のどれかです。その期待値確率変数が取りうる各値に、その確率を重みとして掛けて足し合わせた値。長期的に試行を繰り返したときの観測平均の収束先を表す。離散型では値と確率の積の総和、連続型では密度関数による積分で定義される。は 3.5 と計算されますが、3.5 はサイコロに存在しない目です。これは単純な矛盾のように見えます。
この違和感の根にあるのは、「期待値」という言葉が「1 回の試行で期待できる値」を意味していない、という事実です。統計学における期待値の直感は「無限回繰り返したときの平均値データを全部足して個数で割った値。全員を等しい重み(n 分の 1)で扱う性質から、1 人の極端な値(外れ値)が結果を大きく動かす。」です。stats-05 で見た頻度主義の極限値の考え方がここに直結します。コインを無限回投げれば表の相対頻度が 0.5 に近づくのと同じ構図で、サイコロを無限回振れば観測平均が 3.5 付近に張り付きます。
この「無限回試行の平均」という読み方を、試行回数を増やしながら数値で確かめます。
3.5 は単一の試行結果ではなく、無数の試行を積み重ねたときに観測平均が収まっていく先として読みます。
サイコロを実際に振り続けたとき、観測平均はどう変化するでしょうか。以下は本記事の図で使っている疑似乱数列(seed = 37)を実際に走らせた値です。
| 試行回数 N | 観測平均 | 3.5との差(絶対値) |
|---|---|---|
| 10 | 3.7000 | 0.2000 |
| 100 | 3.4200 | 0.0800 |
| 1,000 | 3.5270 | 0.0270 |
| 10,000 | 3.5185 | 0.0185 |
これは公平なサイコロを模した固定seedのシミュレーション1回分です。観測平均が理論値3.5へ近づく速さは試行ごとに違い、差が単調に小さくなるわけでもありません。表・折れ線・注記はすべて同じ出目の列から計算しています。
stats-05 で見た「コインを 100 回投げると表の相対頻度が 0.5 付近に張り付く」のと同じ構図です。サイコロも各目が ずつ出ます。だとすれば、各目の値にその出る割合を掛けて足し上げた数値が、長期的な観測平均の収まる先になります。
この計算を手で追うと
となります。6 つの目が各 の割合で出るので、平均はちょうど中間の 3.5 になります。この 3.5 という値は、1 回の試行で実際に現れる結果ではなく、無数の試行の集積として定まる数値です。
日本語の「期待」は「望ましいことが起きるだろうという見通し」を意味します。一方、統計学の「期待値」は感情的な期待とは無関係で、「無限回試行を繰り返したときの平均値」という直感的な意味を持つ言葉です(厳密な数学的定義は次節の加重和)。サイコロを振って 3.5 が出ることを期待しているわけではありません。
「サイコロを振った結果」を式で扱うとき、記号の使い方を一度整理しておく必要があります。大文字の と小文字の は別の意味を持ちます。
は「サイコロを振ったらどんな値が入るかわからない箱」です。試行を行う前の段階では、1 が入るかもしれないし 6 が入るかもしれません。このような「試行の前に値が定まっていない量」を確率変数試行を行う前の段階では値が定まっておらず、試行を行うと確率分布に従って値が一つ定まる量。慣習として変数本体は大文字、試行後に観測された具体的な値(実現値)は小文字で書き分ける。と呼びます。
は「箱から出てきた具体的な数値」です。サイコロを実際に振って 3 が出たとき、 となります。試行後に実際に観測された値で、実現値確率変数 X が試行を実行した結果として実際に観測された具体的な数値 x のこと。試行前の「値が定まっていない箱」が X、試行後に箱から出てきた「具体的な数」が x。と呼びます。「箱(試行前)」と「中身(試行後)」の違いです。
たとえば「箱に 3 が入る確率は 1/6」は と書きます。 はまだ値が定まっていない箱で、その箱が 3 という値を取る確率が だ、と読みます。「箱に 3 が入った」という事実は と書きます。
確率変数を大文字 で、実現値を小文字 で表す慣習は、大阪大学をはじめとする日本の統計学教科書で標準的に採用されています。本記事以降もこの慣習に従います。
stats-01 で見た度数分布表の平均を思い出しましょう。値 が度数 回観測され、データ総数が のとき
ここで は値、 は度数、 は相対度数(その値が出た割合)です。
stats-05 で見たとおり、試行回数 を無限に増やすと相対度数 の極限が確率 に近づきます。つまり式の重みを「相対度数」から「確率」に書き換えると、度数分布表の平均がそのまま期待値の定義になります。
の は expectation(期待)の頭文字、 はギリシャ文字シグマ(Σ)で「全部足す」の略記です。 は「各値にその確率を掛けて、全部足す」と読みます。
は「確率変数 の期待値」を表す記号です。 は取りうるすべての値 について足し合わせることを意味します。各値 にその値が出る確率 を掛けて、足し上げます。(本記事では離散確率変数のみを扱います。連続型の場合は が積分に置き換わりますが構造は同じで、stats-09 以降で扱います。)
この が期待値の数学的定義です。「無限回試行の平均」という直感は、この定義から大数の法則によって導かれる帰結であり、stats-08 で扱います。
サイコロで確認します。取りうる値は で、各値の確率は です。
節 2 で手で追った数値と一致しました。
宝くじの例も考えます。1 等当選 1 億円が確率 、外れは 0 円という単純化した仮想くじの期待値は
となります。1 枚 300 円のくじを無限回買い続ければ、1 回あたり平均 290 円の損になります。そして「期待値 10 円」というのもサイコロの 3.5 と同じで、実際には出ない値です。外れか 1 億円かの二択であり、10 円が実際に支払われることはありません。期待値は長期平均として正確ですが、単一の試行結果としては存在しない値です。
この定義を、結果の構成と損益を動かす図で確かめます。初期設定は大当たり 20%(+5,000 円)、通常 50%(+500 円)、はずれ 30%(−1,000 円)です。
操作ヒント2つの結果の確率・各結果の報酬・繰り返し回数 n を動かせます。残りの確率は自動計算され、ステージ操作で計算の流れを再生できます。
読み取れることまず通常などの起こりうる結果を、確率の構成比として読みます。いまの設定では確率合計は100%です。
図では大当たりと通常の確率を動かし、はずれの確率は残りとして自動計算します。3つの結果の損益も入力でき、100回あたりの結果構成と加重平均としての期待値が同時に更新されます。確率や損益を変え、期待値が 0 円を境に正から負(または負から正)へまたぐ点を読み取ってください。
期待値には代数的に扱いやすい性質があります。定数 と確率変数 について
が成り立ちます。これを期待値の線形性確率変数の和と定数倍について期待値演算子が素通りする性質。E[aX+b]=aE[X]+b および E[X+Y]=E[X]+E[Y] が独立性を要求せずに成り立つ。と呼びます。
具体的に確認します。 をサイコロの目()として、 とおくと、線形性から です。定義式から直接計算しても
となり、同じ結果が得られます。
もう一つの線形性があります。 と の期待値がいずれも有限(可積分)なら
が成り立ちます。ここで と の独立性2 つの事象 A, B について、B が起きたという情報を得ても A の確率が変わらない関係。数学的には P(A ∩ B) = P(A) P(B) または同値に P(A|B) = P(A) で定義する。排反性とは正反対の概念。は一度も使っていません(本記事の離散・有限台の例では可積分性は自動的に満たされます。平均が未定義な分布では左右が同時に意味を持たないことがあります。詳細は stats-supplement-cauchy-distribution-undefined-expectation)。
「独立でなくても成り立つ」とはどういうことでしょうか。 をサイコロを 1 回振った目として、(同じ試行のコピー、完全従属)とします。 が決まれば は自動的に と同じ値になります。この完全従属の場合でも
の両方が 7 で一致します。独立性を要求しない線形性なので、 と が何らかの関係を持っていても式は成り立ちます。この線形性が次節の二項分布成功確率 p のベルヌーイ試行を独立に n 回繰り返したときの成功回数が従う離散確率分布。平均は np、分散は np(1-p)。コイン投げの表の回数・A/B テストのコンバージョン数・品質検査の不良品数の基本分布。の期待値計算で直接使われます。
ベルヌーイ確率変数成功確率 p で 1 か 0 を取る確率変数の分布。0<p<1 では2点に確率を持ち、p=0または1では1点に退化する。期待値は p、分散は p(1-p)。から始めます。
コインを 1 回投げて表が出たら 、裏が出たら とします。表が出る確率を とすると 、 です。このような 0 か 1 かの 2 値を取る確率変数をベルヌーイ確率変数と呼びます。
公平なコインなら なので です。コインを 1 回投げたときの期待値は 0.5 で、これもサイコロの 3.5 と同じく実際には出ない値です(表か裏かの二択で 0.5 は出ません)。
次に、コインを 回独立に投げて表が出た合計回数を とします。 の取りうる値は です。ちょうど 回表が出る確率は
で与えられます。ここで は「 個の試行から 個の成功を選ぶ組み合わせの数」です。この確率分布を二項分布 と呼びます。
この の期待値を定義式から素朴に計算しようとすると、次の重い式が現れます。
結果だけ先に言うと になりますが、この式から を取り出すには多段の計算が必要です。
の項は なので から開始します。 を展開して を消去すると
が成り立ちます。また と書き直して を括り出します。
、 と変数置換すると
二項定理より なので
多段計算でようやく が出ました。
同じ結果を線形性で導くと 2 行で完了します。各 回目の試行結果を (成功確率 のベルヌーイ確率変数)とおくと、 回の合計は です。各 と線形性 から
素朴計算では変数置換と二項定理の 4 ステップが必要でしたが、線形性では という 1 行の事実を 回足すだけです。
の期待値は です。stats-05 で「コイン 100 回投げの中心は 50」と書いていた数字が、ここで代数的に確定します。
節 2 では の 4 点の静的な数値表を見ました。下の図は同じ「サイコロを 回振ったときの観測平均」を軌跡として描いたものです。
横軸は累積試行回数、縦軸はそこまでの観測平均です。青い折れ線が 1 本の実験の軌跡で、赤い破線が理論期待値 3.5 を示しています。
少ない試行では平均が大きく振れます。試行を増やしても差が毎回小さくなるわけではありませんが、独立で同じ分布に従い期待値が有限なら、長期的には標本平均が理論期待値へ収束します。100回より先の同じシミュレーションは上の数値表で確認できます。
株式の期待リターン は、過去 営業日のリターン の標本平均として推定するのが基本です。各営業日のリターンを「1 回の試行結果」と見なして確率変数 に当てはめ、その期待値を過去データから計算します。stats-05 で扱った「相対頻度の極限が確率」という構図が、ここでも同じ形で出てきます。
保険料の設計は期待値の直接的な応用です。火災保険を例に取ると、保険会社は「年間の期待損害額(損害額 × 損害発生確率の和)+ 経費 + マージン」を基に保険料を設定します。保険会社は期待値を上回る価格で契約を売り、契約者は期待値を下回る支出で大損失のリスクを回避します。その差額が安心の対価です。トレードの期待収益 、Kelly 基準、リスク中立確率といった概念も期待値を土台にしており、詳細は補足記事と実践記事で扱います。
期待値は必ず有限の値として定まるとは限りません。Cauchy 分布という連続型分布は、期待値を計算しようとすると の不定形になり、期待値そのものが定義できません。Saint Petersburg のパラドックスでは「コインを表が出るまで投げ続け、 回目に初めて表が出たら 円もらえる」という賭けの期待値が正の無限大に発散します。詳細はそれぞれ補足記事に分けてあります。
「期待値が未定義(Cauchy)」と「期待値が無限大(Saint Petersburg)」は別物です。前者は期待値が「存在しない」、後者は期待値が「無限大として確定している」。どちらも「有限の期待値が存在する」という条件を満たさない点は共通で、この条件は stats-08 の大数の法則・中心極限定理独立同分布で正の有限分散をもつ標本では、標本数が増えると標本平均の分布が正規分布に近づくという定理です。元のデータ自体が正規分布になるという意味ではありません。が前提として要求します。
次回 stats-07「条件付き確率事象 B が起きたとわかったときに事象 A も起きている割合。A と B の同時確率を B の確率で割って定義され、全体を B の縦帯に絞り直してから A の比を測る操作として読める。とベイズの面積」では、情報が増えたときに確率がどう変化するかを面積を使って扱います。本記事で導入した 、、 の言語が、stats-07 以降でもそのまま使われます。
Part 2 の流れをまとめます。
stats-08 の大数の法則の証明は、本記事の線形性 を中核に置きます。