確率変数

例えば、任意に抽出した人の身長を確率変数とする場合を考える。数学的には、確率変数は 対象となる人→その身長 という関数を意味する。確率変数は確率分布に対応し、妥当にあり得る範囲の確率（身長180cm以上190cm以下である確率や 150cm未満または200cm超である確率）を計算できるようになる。

もう一つの確率変数の例は、抽出した人には何人の子供がいるかというものである。これは非負の整数値を取る離散型確率変数である。この場合、確率分布は確率質量関数の積分により表される。また、無限個の仮説を想定することも可能である。例えば、偶数人の子供がいるか、といったものである。何方の場合においても、確率値は確率質量関数の要素の和を無限に取っていくことで求めることができる。子供が0人の可能性 + 子供が2人の可能性 + 子供が4人の可能性 + … という要領である。

このような例では標本空間はしばしば有限に制限される。離散値を無限に計算していくのが数学的に困難だからである。しかしアウトカムの標本空間内で2つの確率変数が同時に測定される場合、すなわちある人について身長と子供の数とを同時に調査する場合などは、両変数に相関関係があるのか否かを知るのは容易である。

統計学における基本として、確率変数がとる値は実数であり、従って期待値や分散その他の値を計算することができる。しかし、実数以外の要素を値としてとる確率変数も考えられる。値として取る要素としては、ブール変数、カテゴリカル変数、複素数ベクトル、ベクトル、行列、数列、樹形図、コンパクト集合、図形、多様体、関数等が考えられる。確率要素という用語はこれら全ての概念を指し示す。

もう1つの拡張は確率過程、すなわち時間や空間などで添字付けられた添字付き確率変数である。

このような、より一般化された概念は計算機科学や自然言語処理といった非数的要素を扱う分野で特に有用である。これらの確率要素は実数値の確率変数（主に乱数ベクトル）として取り扱えることが多い。

下記に実例を上げる。

• 「ランダムな単語」は語彙集合の中で整数を添字としてパラメータ化することができる。あるいは、単語に対応する特定のベクトル要素一つのみが1で他の全ての要素が0であるような指示ベクトルとして、表現し得る。
• 「ランダムな文章」はランダムな単語のベクトルとしてパラメータ化することができる。
• 数学において V 本の辺を持つ「ランダムなグラフ」は、N次正方行列を用いて各辺の重みならびに辺以外での値を0として表すことができる。（グラフに重み付けがない場合、辺の値は1とする）

要素の数値化は、非数的な独立した確率要素を扱う際の必須操作ではない。

ここでは観測値を実数とする。${\displaystyle (\Omega ,{\mathcal {F}},P)}$ が確率空間である。下記の場合、実測値空間として、関数${\displaystyle X:\Omega \rightarrow \mathbb {R} }$を実数確率変数とする。

${\displaystyle \{\omega :X(\omega )\leq r\}\in {\mathcal {M}}\qquad \forall r\in \mathbb {R} .}$

この定義は上記の特別な場合である。集合 ${\displaystyle \{(-\infty ,r]:r\in \mathbb {R} \}}$ が実数空間内にボレル完全加法族を成し、それが集合の可測性を示す十分条件だからである。 これで${\displaystyle \{\omega :X(\omega )\leq r\}=X^{-1}((-\infty ,r])}$ を用いて生成する集合の可測性が証明される。

確率変数 ${\displaystyle X:\Omega \to \mathbb {R} }$ が確率空間 ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ 内に定義されたとすると、「X の値が2をとる確率はいくつか？」等と問うことができる。これは事象 ${\displaystyle \{\omega :X(\omega )=2\}}$ の確率と同じであり、しばしば短く ${\displaystyle P(X=2)}$ や ${\displaystyle p_{X}(2)}$ と記述される。

実数確率変数 X が示す範囲の確率を全て記録すると、X の確率分布が得られる。確率分布は X の定義に使われた特定の確率空間を「忘れる」ので、X の様々な値の確率を記録するのみである。このような確率分布は常に分布関数で捉えることができる。

${\displaystyle F_{X}(x)=\operatorname {P} (X\leq x)}$

加えて確率密度関数 ${\displaystyle p_{X}}$ を使える場合も多い。測度論的には確率変数 X は、Ω 上での P の測定から ${\displaystyle \mathbb {R} }$ 上での ${\displaystyle p_{X}}$ の測定に「押し進める」もの、といえる。根底にある確率空間 Ω は確率変数の存在を保証するツールであり、しばしば変数を構成し、同一確率空間内の2つ以上の変数の同時分布における相関・依存や独立性の基礎となる。実際は、空間 Ω 全体に1つの変数を置き、数直線 ${\displaystyle \mathbb {R} }$ 全体で1つの変数とする。つまり、その変数が確率変数に代わって確率分布する。

確率空間 (Ω, F, P) に割り当てた確率変数 ${\displaystyle X:\Omega \to {\mathcal {E}}}$ が可積分であるとは、

${\displaystyle \int _{\Omega }|X(\omega )|\,dP(\omega )<\infty }$

を満たすことである。これは測度論における可測関数の可積分性と同じである。

このとき確率変数 X あるいはその確率分布の平均は

${\displaystyle E[X]=\int _{\Omega }X(\omega )\,dP(\omega )}$

で定義される。

事象 ${\displaystyle A\in {\mathcal {F}}}$ の下での確率変数 X の条件付期待値は

${\displaystyle E[X:A]=E[1_{A}X]=\int _{A}X(\omega )\,dP(\omega )}$

で定義される。ここで 1_A は指示関数である。

X を実数の連続確率分布とした時、Y = X² とすると、

${\displaystyle F_{Y}(y)=\operatorname {P} (X^{2}\leq y)}$

y < 0 の時は ${\displaystyle \operatorname {P} (X^{2}\leq y)=0}$ であるので、

${\displaystyle F_{Y}(y)=0}$（ただし y < 0）である。

y ≥ 0 の時は ${\displaystyle \operatorname {P} (X^{2}\leq y)=\operatorname {P} (|X|\leq {\sqrt {y}})=\operatorname {P} (-{\sqrt {y}}\leq X\leq {\sqrt {y}})}$ であるので、

${\displaystyle F_{Y}(y)=F_{X}({\sqrt {y}})-F_{X}(-{\sqrt {y}})}$（ただし y ≥ 0）である。

x は、分布関数が

${\displaystyle F_{X}(x)=\operatorname {P} (X\leq x)={\frac {1}{(1+e^{-x})^{\theta }}}}$

となる確率変数とする。ただし θ > 0 は固定されたパラメーターである。 確率変数 Y を ${\displaystyle Y=\log(1+e^{-X})}$ とすると、

${\displaystyle F_{Y}(y)=\operatorname {P} (Y\leq y)=\operatorname {P} (\log(1+e^{-X})\leq y)=\operatorname {P} (X>-\log(e^{y}-1)).}$

最後の表現は X の分布関数で計算できる。すなわち

${\displaystyle F_{Y}(y)=1-F_{X}(-\log(e^{y}-1))}$

${\displaystyle =1-{\frac {1}{(1+e^{\log(e^{y}-1)})^{\theta }}}}$

${\displaystyle =1-{\frac {1}{(1+e^{y}-1)^{\theta }}}}$

${\displaystyle =1-e^{-y\theta }.}$

X を標準正規分布に従う確率変数であるとすると、その確率密度は下記の通りである。

${\displaystyle f_{X}(x)={\frac {1}{\sqrt {2\pi }}}e^{-x^{2}/2}}$

確率変数 Y = X² を考えると、上記の式を変数変換して確率密度を下記のように表すことができる。

${\displaystyle f_{Y}(y)=\sum _{i}f_{X}(g_{i}^{-1}(y))\left|{\frac {dg_{i}^{-1}(y)}{dy}}\right|}$

この場合、Y の値は2つの X（正の値と負の値）に対応するので、変換は単調写像ではない。しかし、関数が対称であるので、両半分をそれぞれ変形することができる。すなわち、

${\displaystyle f_{Y}(y)=2f_{X}(g^{-1}(y))\left|{\frac {dg^{-1}(y)}{dy}}\right|}$

である。この逆変換は、

${\displaystyle x=g^{-1}(y)={\sqrt {y}}}$

であり、両辺を微分すると

${\displaystyle {\frac {dg^{-1}(y)}{dy}}={\frac {1}{2{\sqrt {y}}}}}$

である。従って、

${\displaystyle f_{Y}(y)=2{\frac {1}{\sqrt {2\pi }}}e^{-y/2}{\frac {1}{2{\sqrt {y}}}}={\frac {1}{\sqrt {2\pi y}}}e^{-y/2}}$

これは自由度 1 のχ²分布である。

標本空間が実数直線の部分集合の場合、確率変数 X と Y の分布が等しいとは（${\displaystyle X\;{\stackrel {d}{=}}\;Y}$ と表記する）下記のように同じ分布関数を持つことである。

${\displaystyle \operatorname {P} (X\leq x)=\operatorname {P} (Y\leq x)\quad {\hbox{for all}}\quad x.}$

2つの確率変数は同じ積率母関数を持つ時に同じ分布になる。この事実は、例えば独立同一分布の確率変数による複数の異なった関数が同じ分布になるかどうかを調べるための便利な方法を提供する。しかしながら、積率母関数が存在するのは、ラプラス変換が定義される分布関数に対してのみである。

2つの確率変数 X と Y が「ほとんど確実に等しい」とは、その2つが異なる確率が 0 であることと同値である[注 2]。

${\displaystyle \operatorname {P} (X\neq Y)=0.}$

これは、以下で定義される距離が0であることとも同値である。

${\displaystyle d_{\infty }(X,Y)=\operatorname {ess} \sup _{\omega }|X(\omega )-Y(\omega )|,}$

(ただし、ess sup は測度論の意味での本質的上限)

確率論におけるすべての現実的な目的に関して、この同値性の概念は実際に等しい場合と同等の強さをもつ。

最後に、2つの確率変数 X と Y が等しいとは、それらが定義される可測空間上の関数として等しいことを指す。

${\displaystyle X(\omega )=Y(\omega )\qquad {\hbox{for all }}\omega \in \Omega }$