機率分配 (單一隨機變數的情況)

機率統計

教學錄影

數學符號

數學基礎

排列組合

機率統計簡介

機率

機率公理

隨機變數

連續測度

單一分布

條件機率

聯合分布

貝氏定理

動差生成函數

特徵函數

機率法則匯總

離散分布

二項分布

多項分布

負二項分布

幾何分布

超幾何分布

布瓦松分布

連續分布

均勻分布

常態分布

Gamma 分布

指數分布

卡方分布

柯西分布

Weibull 分布

T 分布

F 分布

Beta 分布

多維分布

統計

抽樣

敘述統計

推論統計

中央極限定理

估計方法

單組樣本估計

兩組樣本估計

檢定方法

單組樣本檢定

兩組樣本檢定

平均値的推論

變異數的推論

無母數推論

迴歸分析

變異數分析

實驗設計

因子實驗

品質管制

時間序列

數據分類

統計定理匯總

統計情況分類

計算統計

蒙地卡羅法

最大似然法則

假說與學習

EM 算法

簡單貝氏分類

貝氏網路

隨機過程

馬可夫鏈

蒙地卡羅馬可夫

資源

範例

投影片

教學錄影

練習題

考題解答

訊息

相關網站

參考文獻

最新修改

簡體版

English

練習題1:請證明期望值的三個定理
練習題2:請證明變異數的三個定理

離散分配

  • 離散機率密度函數 (Discrete Probability Density)
(1)
\begin{equation} p(x) = f(x) = P[X=x] \end{equation}
  • 離散機率密度函數的特性
(2)
\begin{eqnarray} 1. && f(x) \ge 0 \\ 2. && \sum_{\forall x} f(x) = 1 \\ 3. && P(a \le X \le b) = \sum_{x \ge a}^{x \le b} f(x) \\ 4. && F(x) = P[X \le x] = \sum_{t \le x} f(t) \end{eqnarray}

說明:(3) (4) 兩是不見得有辦法定義,因為有些離散空間的元素無法比較大小。

連續分配

  • 連續機率密度函數 (Discrete Probability Density) : p(x) 或 f(x)
(3)
\begin{eqnarray} 1. && f(x) \ge 0 \\ 2. && \int_{-\infty}^{\infty} f(x) dx = 1 \\ 3. && P(a \le X \le b) = \int_a^b f(x) dx \\ 4. && F(x) = P[X \le x] = \int_{-\infty}^x f(t) dt \\ \end{eqnarray}

說明:F(x) 稱為累加機率函數 (Cumulative Distribution Function)

期望值

  • 定義:
(4)
\begin{align} E[H(X)] = \sum_{x \in S} H(x) p(x) \end{align}
  • 範例:X 的期望值
(5)
\begin{align} E[X] = \sum_{x \in S} x p(x) \end{align}
  • 定理:
(6)
\begin{eqnarray} 1. && E[c] = c \\ 2. && E[c X] = c E[X] \\ 3. && E[X + Y] = E[X] + E[Y] \end{eqnarray}

變異數 (Variance, 方差)

  • 定義:([母體] 變異數) $Var(X) = \sigma^2 = E[(X-\mu)^2]$, 其中 $\mu$ 為 X 的平均值。
  • 定義:([母體] 標準差) $\sigma$ 變異數的平方根 $\sigma$ 被稱為標準差。
  • 定理:$\sigma^2 = Var(X) = E[X^2] - E[X]^2$
  • 定理:
(7)
\begin{eqnarray} 1. && Var(c) = 0 \\ 2. && Var(c X) = c^2 Var(X) \\ 3. && Var(X + Y) = Var(X) + Var(Y) ; 如果 X 與 Y 彼此獨立 \end{eqnarray}
  • 定義:(樣本變異數) $S^2$
(8)
\begin{align} S^2 = \sum_{i=1}^n \frac{(X_i - \bar{X})^2}{n-1} = \frac{n \sum_{i=1}^n X_i^2 - (\sum_{i=1}^n Xi)^2}{n (n-1)} \end{align}
  • 注意:變異數的定義為 $\delta^2 = E[(X-\mu)^2]$,上述的樣本變異數必須除以 n-1 才是變異數的不偏估計量,而不是除以 n。
  • 定義:(樣本標準差) 上列算式中的 S 稱為樣本標準差。

轉換定理

定理:(轉換定理) $p_Z(t) = p_X(g^{-1}(t)) \| \frac{d g^{-1}(t)}{d t} \|$
; 其中 Z = g(X), g 必須是單調函數 (一直上升或一直下降)

證明:如果 g 是單調上升函數 (下降的情況雷同)。

(9)
\begin{eqnarray} p_Z(t) &=& \frac{d}{db} P[Z \in (a,b]] = \frac{d}{db} P[X \in (g^{-1}(a),g^{-1}(b)]] \\ &=& \frac{d}{db} \int_{g^{-1}(a)}^{g^{-1}(b)} p_X(x) dx = \frac{d}{dt} |_b * p_X(g^{-1}(b)) \end{eqnarray}

R 的操作

> x
[1] 1 2 3 4 5 6
> mean(x)
[1] 3.5
> sum(x)/6
[1] 3.5
> xx = x*x
> xx
[1]  1  4  9 16 25 36
> mean(x)
[1] 3.5
> mean(xx)
[1] 15.16667
> x=1:6
> y=2:7
> x
[1] 1 2 3 4 5 6
> y
[1] 2 3 4 5 6 7
> mean(x+y)
[1] 8
> mean(x)
[1] 3.5
> mean(y)
[1] 4.5
> x
[1] 1 2 3 4 5 6
> var(x)
[1] 3.5
> x-mean(x)
[1] -2.5 -1.5 -0.5  0.5  1.5  2.5
> mean(x-mean(x))
[1] 0
> ?var
starting httpd help server ... done
> d = x-mean(x)
> d
[1] -2.5 -1.5 -0.5  0.5  1.5  2.5
> mean(d*d)
[1] 2.916667
> d*d
[1] 6.25 2.25 0.25 0.25 2.25 6.25
> mean(d*d)
[1] 2.916667
> x
[1] 1 2 3 4 5 6
> x*x
[1]  1  4  9 16 25 36
> mean(x*x)
[1] 15.16667
> mean(x*x)-mean(x)*mean(x)
[1] 2.916667
>

Facebook

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-NonCommercial-ShareAlike 3.0 License