統計學 : 應用與進階 第 3 章 : 隨機變數

隨機變數 (random variables) 間斷隨機變數 (discrete random variables) Bernoulli 分配 (Bernoulli distribution) 連續隨機變數 (continuous random

variables) 均勻分配 (uniform distribution) 連續隨機變數之函數 動差生成函數 (moment generating

functions)

隨機變數 令 X 代表由狀態空間映射到實數線的函數 :

則稱 X 為一個隨機變數。

隨機變數 隨機變數 : 將出象或事件以數值表示 原始動機可能是來自於賭博 隨機變數是一個函數 , 隨機變數不是變數 !

例子 : 擲一個六面骰子兩次 令

e = {i , j} = { 第一次擲出點數 , 第二次擲出點數 }

賭局的報酬為 X(e) = max(i , j) 舉例來說 , 如果我們擲出 e = {2, 3}, 則贏 3

元。

狀態空間與所映射的隨機變數值

單變量隨機變數 Full description: 機率分配 Average outcome: 期望值 Dispersion of outcomes: 變異數 , 標準差

多變量隨機變數 Full description: 聯合機率分配 Comovement of outcomes: 共變數 , 相關係

數 Generating new random variables out of

old random variables (eg. 個股報酬⇒ 資產組合

報 酬 )

Notations

隨機變數 : X (ex ante) 隨機變數實現值 (realizations): x (ex post) Notation: X = x

間斷隨機變數 (discrete random variables)

如果隨機變數實現值的數目為有限的 (finite) 或 是無限但是可數 (countably infinite), 則稱之

為 間斷隨機變數 例子 : 擲一個六面骰子所得到的點數 ( 有限 ) 餐廳營業一天的登門客人數目 ( 無限但是可數 )

間斷隨機變數 令 X 為一間斷隨機變數 , 則其任一實現值發生之

機率定義為

P(X = x) = P({ω : X(ω) = x}).

隨機變數 X 為實現值 x 的機率事實上就是來自 ω 事件 ( 此事件符合 X(ω) = x ) 發生的機率

例子 : 擲銅板的賭局 擲不公正銅板 , 出現正面的機率為 2/3, 出現反面

的機率為 1/3 令隨機變數 X = 1 當出現正面 , X = −1 當出現

反面 則 P(X = 1) 與 P(X = −1) 分別為

P(X = 1) = P({ω : X(ω) = 1}) = P({ 正面 }) = 2/3

P(X = −1) = P({ω : X(ω) = −1}) = P({ 反面 }) = 1/3

間斷機率分配 : 機率質量函數 給定間斷隨機變數 X 的實現值來自可數的集合 B ⊆ 。函數 f (x) : → [0, 1] 定義為

且滿足

我們稱 f (x) 為機率質量函數 (probability mass function), 簡稱 pmf

顯而易見地 , 根據機率質量函數之定義 , 當 x B, 則 f (x) = 0, 從而機率質量函數 f (x) 的定義域

(domain) 可以為整個實數線此外 , 我們也將 B 稱作

隨機變數 X 的砥柱集合 (support)

砥柱集合 給定一隨機變數之實現值使其機率不為零的集合

{x : f (x) > 0},

稱為此隨機變數的砥柱集合 (support), 以supp(X) 表示之

砥柱集合 因此 , 機率質量函數定義中的性質可以改寫成① 1② 2③

砥柱集合 : 例子 以之前擲銅板的賭局為例 , 我們可以寫出如下的

間斷機率分配 :

而其砥柱集合則為 supp(X) = {1,−1}

累積分配函數 (cumulative distribution function)

給定任何實數 x, 函數 F(x) : R 7→ [0, 1] 滿足 F(x) = P(X ≤ x),

則稱 F(x) 為累積分配函數 , 簡稱 CDF, 一般又稱

分配函數

累積分配函數的相關性質

例子 : 擲銅板的賭局 我們知道其 pmf 與 CDF 分別為

機率質量函數 : 擲銅板賭局

累積分配函數 : 擲銅板賭局

間斷隨機變數之動差 一般來說 , 描繪隨機變數特性的最佳方式就是以

機率分配刻劃其全貌 為了簡化分析 , 有時我們僅對用來刻劃隨機變數

部份特性的動差 (moments) 有興趣

間斷隨機變數之動差 譬如說 , 當我們購買風險性資產時 , 假設其報酬

為 X 。由於面對不確定性 , 因而 X 為一隨機變數。一般的經濟理論會假設人們的效用函數中僅考慮報酬期望值 ( 一階動差 ) 與變異數 ( 二階中央動差 ):

u = u( 期望報酬 , 變異數 ) = u(E(X), Var (X)),

而變異數事實上就是用於衡量該資產的風險

期望值 隨機變數 X 的期望值 (expectation, expected value) 定義為

我們常用希臘字母 μ ( 讀作 mu) 代表期望值。 期望值又稱均數 (mean), 事實上就是 X 所有可能實現

值以機率為權數的加權平均 (weighted average) 期望值所衡量的 , 就是隨機變數「平均而言」會出現的

值

期望值 值得注意的事情是 , 期望值是將隨機變數所有可

能的實現值 , 依其可能發生的機率加權後加總得來 , 因此期望值是一個確定的值 , 是一個常數 ,不再是隨機變數

為了避免符號上的複雜 , 我們將假設所有加總的範圍都是隨機變數的砥柱集合 , 亦即除非另有說明 , 我們將以 取代

期望值的性質 給定 X 為一間斷隨機變數 , 則

一般而言 , 除非 g(·) 為線性函數 (linear function), 要不然

舉例來說 ,

變異數 隨機變數 X 的變異數 (variance) 定義為

我們常用希臘字母 ( σ 讀作 sigma) 代表變異數

變異數是用來衡量所有可能實現值偏離均數的 間斷程度

變異數 由於我們將隨機變數減去其均數後再平方 , 使得

變異數的單位難以定義。舉例來說 , 如果 X 代表賭資 , 則期望值的單位為元 , 而變異數的單位為元的平方 , 不具任何意義

因此 , 我們將變異數開平方根 , 得到單位具有意義的間斷程度衡量 , 稱之為標準差 (standard deviation):

重要性質

動差 (moments) 與中央動差 (central moments)

隨機變數 X 的 r 階動差與 r 階中央動差分別為① r 階動差

② r 階中央動差

因此 , 一階動差就是隨機變數的期望值 ; 而二階中央動差就是隨機變數的變異數

動差的功能 動差可以幫助我們描繪 (summarize) 隨機變數

(猶如以身高 , 體重 , 膚色 , 髮色等來描繪一個人 )

舉例來說 , 常態分配 ( 之後有詳盡介紹 ) 可以只用一階與二階動差予以刻畫

將常數視為一隨機變數 給定常數 k, 若將之視為一隨機變數 , 則

E(k) = k, 且 Var (k) = 0.

間斷隨機變數的一個例子 : Bernoulli 分配 我們將在之後討論一些常用且重要的間斷隨機變

數 , 在此 , 我們先介紹一個簡單的間斷隨機變數 : Bernoulli 分配 , 提供讀者一個例子以進一步了解間斷隨機變數的許多性質

給定隨機試驗只有兩個出象 , 例如擲銅板 , 支持或不支持特定候選人之民調 , 品質管制 (良品或不良品 ) 等 , 這樣的隨機試驗我們稱之 Bernoulli 試驗 (Bernoulli trials)

Bernoulli 隨機變數 (Bernoulli random variables)

如果 X 的機率分配為

其中 X = 1 代表出象為成功 (success); X = 0 代表出象為失敗 (failure), 則我們稱 X 為具有成功機率 p 的 Bernoulli 隨機變數 , 並以 X ∼Bernoulli(p) 表示之

Bernoulli 隨機變數 值得注意的是 , 我們對於出象為成功或失敗 , 可

以自由設定。譬如說 , 我們可以設定擲銅板出現正面為成功 (X = 1), 出現反面為失敗 (X = 0)。然而反之亦可

Bernoulli 隨機變數的可能實現值非 0 即 1, 因此其砥柱集合為

Bernoulli 隨機變數 Bernoulli 隨機變數的 pdf 為

也可寫成

Bernoulli 隨機變數 Bernoulli 隨機變數

Bernoulli 隨機變數 Bernoulli 隨機變數的期望值 , 二階動差與變異

數分別為

連續隨機變數 如果隨機變數 X 理論上的可能實現值為任一區間

中的任意實數 , 則 X 就稱作為一個連續隨機變數 , 舉例來說 , 明天的降雨量 , 下一尾上鉤的魚的體重 , 或是電池的壽命等

定義連續隨機變數最簡單的方法是由累積分配函數出發

累積分配函數的定義為 F(x) = P(X ≤ x), 因此 , 如果 F(·) 函數為連續且可微分 , 則稱 X 為一連續隨機變數

連續隨機變數 給定函數 f : R → R 以及任意實數 a ≤ b, 使得

= (f 曲線下 , 橫軸之上 , a 到 b 的面積 ),

則稱 X 為一連續隨機變數 , 且 f (x) 稱為 X 的機率密度函數 (probability density function) 。我們要求

① ②

機率密度函數

連續隨機變數 對於連續隨機變數 , 我們所計算的是一段區間 , 如 (a, b), 所發生的機率 , 而非可能實現值個別發

生的機率 , 因為任何一個可能實現值發生的機率必須為 0:

P(X = x) = 0

理由在於 , 連續隨機變數的可能實現值有無窮多個且不可數

為什麼我們可以無中生有 ?

連續隨機變數的性質 假設

單調非遞減

累積分配函數

連續隨機變數之動差 期望值

變異數

連續隨機變數之動差 r 階動差

r 階中央動差

均勻分配 我們將在之後討論一些常用且重要的連續隨機變

數 , 在此 , 我們先介紹一個簡單的連續隨機變數 :

均勻分配 (uniform distribution) 。

均勻分配 給定隨機變數 X 在區間 [l , h] 中 , 其實現值落在任

意一個子區間 [a, b] 的機率恰為

則稱 X 為一均勻隨機變數 , 其 pdf 為

並以 X ∼ U[l , h] 表示之

均勻分配 均勻隨機變數的 CDF 為

均勻分配 ( 期望值 , 二階動差與變異數 )

Chebyshev 不等式 給定隨機變數 X ∼ (μ, 2), 對於任意常數 k > 0,

由於不等式可改寫成

因此 , 這個不等式告訴我們 , 至少有 1 − 的機 率 , 隨機變數 X 會落在區間 μ ± kσ 內

Chebyshev 不等式 舉例來說 , 若 k = 2, 則至少有 (1 − 1/4) = 3/4 =

75% 的機率 X 會落在區間 μ ± 2 σ 內。

Laws of Expected Value…

E(c) = c The expected value of a constant (c) is just the value of the constant.

E(X + c) = E(X) + c

E(cX) = cE(X) We can “pull” a constant out of the expected value expression (either as part of a sum with a random variable X or as a coefficient of random variable X).

E(c) = c

Proof:

xx

xpcxcpcE )()()( 1)( and x

xp

cccE )1()( hence

E(X + c) = E(X) + c Proof:

x

xpcXcXE )()()(

( ) ( )

( ) ( )

( )

x x

Xp x cp x

E x E c

E x c

E(cX) = cE(X)

( ) ( )

( )

( )

x

x

E cX cXp x

c Xp x

cE X

E(X1+X2)=E(X1)+E(X2) (X1, X2具相同分配 P（ X ） )

Proof:

1 2 1 2

1 2

1 2

( ) ( ) ( )

( ) ( )

( ) ( )

x

x x

E X X X X p x

X p x X p x

E X E X

Laws of Variance…

V(c) = 0 The variance of a constant (c) is zero.

V(X + c) = V(X) The variance of a random variable and a constant is just the variance of the random variable (per 1 above).

V(cX) = c2V(X) The variance of a random variable and a constant coefficient is the coefficient squared times the variance of the random variable.

V(c) = 0

Proof:22 )()( XEXV

cX Let

22 )()( ccEcV

022 cc

V(X + c) = V(X)

Proof: 22 )]([])[()( cXEcXEcXV 222 ])([)2( cXEccXXE

2 2 2( ) 2 ( ) ( )E X cE X c c 2 2 2 2( ) 2 ( 2 )E X c c c c

)()( 22 XVXE

V(cX) = c2V(X)

Proof:22 )]([])[()( xcEcXEcXV

2222 )( cXcE

)(

])([

)(

2

222

2222

XVc

XEc

cXEc