機率法則

機率統計

教學錄影

數學符號

數學基礎

排列組合

機率統計簡介

機率

機率公理

隨機變數

連續測度

單一分布

條件機率

聯合分布

貝氏定理

動差生成函數

特徵函數

機率法則匯總

離散分布

二項分布

多項分布

負二項分布

幾何分布

超幾何分布

布瓦松分布

連續分布

均勻分布

常態分布

Gamma 分布

指數分布

卡方分布

柯西分布

Weibull 分布

T 分布

F 分布

Beta 分布

多維分布

統計

抽樣

敘述統計

推論統計

中央極限定理

估計方法

單組樣本估計

兩組樣本估計

檢定方法

單組樣本檢定

兩組樣本檢定

平均値的推論

變異數的推論

無母數推論

迴歸分析

變異數分析

實驗設計

因子實驗

品質管制

時間序列

數據分類

統計定理匯總

統計情況分類

計算統計

蒙地卡羅法

最大似然法則

假說與學習

EM 算法

簡單貝氏分類

貝氏網路

隨機過程

馬可夫鏈

蒙地卡羅馬可夫

資源

範例

投影片

教學錄影

練習題

考題解答

訊息

相關網站

參考文獻

最新修改

簡體版

English

機率的解讀

1. 個人方式:(personal approach) :主觀的意見與猜測。
2. 相對頻率:(relative frequency) : 基於實驗,得到的機率只是一種近似值。

(1)
\begin{align} P[A] = \frac{f}{n} = \frac{事件 A 的出現的次數}{實驗進行的次數} \end{align}

3. 古典方式:(classical approach) : 等可能出像 (equally likely) 的假設。

(2)
\begin{align} P[A] = \frac{n(A)}{n(S)} = \frac{事件 A 的可能出現次數}{實驗可能進行的次數} \end{align}

機率公設

(3)
\begin{eqnarray} (1) & & P(S) = 1 \\ (2) & & P(A) \ge 0 \\ (3) & & P(A1 \cup A2) = P(A1) + P(A2) \; ; \; if \; A1 \cap A2 = \emptyset \\ \end{eqnarray}
  • 說明:凡氏圖 (Venn Diagram)
  • 請證明以下定理
(4)
\begin{eqnarray} (1) & & P(\emptyset) = 0 \\ (2) & & P(A') = 1-P(A) \\ (3) & & P(A1 \cup A2) = P(A1) + P(A2) - P(A1 \cap A2) \\ \end{eqnarray}

條件機率

  • 定義:
(5)
\begin{align} P(B|A) = \frac{P(A \cap B)}{P(A)} \end{align}

獨立事件

  • 定義:事件 A 與 B 彼此獨立,則 A, B 兩事件同時出現的機率為
(6)
\begin{align} P(A \cap B) = P(A) P(B) \end{align}
  • 請證明以下定理:
    • 定理:A , B 彼此獨立 <=> $P(A|B) = P(A)\;and\;P(B|A) = P(B)$
    • 定理:A1, A2, … , Ak 彼此獨立 <=> $P(A1 \cap A2 ... \cap Ak) = P(A1) P(A2) ... P(Ak)$

乘法規則

(7)
\begin{align} P(A \cap B) = \frac{P(A | B) } {P(B)} \end{align}
  • 乘法規則的證明:
(8)
\begin{eqnarray} P(A \cap B) = \frac{P(A \cap B)}{P(B)} P(B) = \frac{P(A | B) } {P(B)} \end{eqnarray}

貝氏定理

(9)
\begin{align} P(A | B) = P(B | A) \frac{P(A)}{P(B)} \end{align}
  • 貝氏定理的證明:
(10)
\begin{eqnarray} because && P(B | A) = \frac{P(A \cap B)}{P(A)} \\ and && P(A | B) = \frac{P(A \cap B)}{P(B)} \\ so && P(A \cap B) = P(B|A] P(A) = P(A|B) P(B) \\ finally && P(A | B) = P(B | A) \frac{P(A)}{P(B)} \end{eqnarray}

離散分配

  • 離散機率密度函數 (Discrete Probability Density)
    • 定義:$P(X=x)$
  • 離散機率累加函數 (Discrete Cumulative Distribution Function)
    • 定義:$P(X \le x)$
  • 相關數學公式:$\sum^{\infty}_{k=1} a r^{k-1} = \frac{a}{1-r}$ 當 |r| < 1 時。
  • 相關數學公式:$\sum^{n}_{k=1} a r^{k-1} = \frac{a (1-r^n) }{1-r}$$|r| \ne 1$ 時。

連續分配

  • 連續機率密度函數 (Discrete Probability Density)
    • 定義:我們用小寫的 p 代表連續機率密度函數
(11)
\begin{eqnarray} 1. && p(x) \ge 0 \\ 2. && \int_{-\infty}^{\infty} p(x) dx = 1 \\ 3. && P(a \le X \le b) = \int_a^b p(x) dx \end{eqnarray}

定理:(轉換定理) $p_Z(t) = p_X(g^{-1}(t)) \| \frac{d g^{-1}(t)}{d t} \|$ ; 其中 Z = g(X), g 必須是單調函數 (一直上升或一直下降)
證明:如果 g 是單調上升函數 (下降的情況雷同)。

(12)
\begin{eqnarray} p_Z(t) &=& \frac{d}{db} P[Z \in (a,b]] = \frac{d}{db} P[X \in (g^{-1}(a),g^{-1}(b)]] \\ &=& \frac{d}{db} \int_{g^{-1}(a)}^{g^{-1}(b)} p_X(x) dx = \frac{d}{dt} |_b * p_X(g^{-1}(b)) \end{eqnarray}

期望值

  • 定義:期望值 $E[H(X)] = \sum_{\forall x} H(x) p(x)$
  • 定理:
(13)
\begin{eqnarray} 1. E[c] &=& c \\ 2. E[c X] &=& c E[X] \\ 3. E[X + Y] &=& E[X] + E[Y] \end{eqnarray}

變異數

  • 定義:(變異數) $Var(X) = \sigma^2 = E[(X-\mu)^2]$, 其中 $\mu$ 為 X 的平均值,而 $\sigma$ 稱為標準差。
  • 定理:$\sigma^2 = Var(X) = E[X^2] - E[X]^2$
  • 定理:
(14)
\begin{eqnarray} 1. Var(c) &=& 0 \\ 2. Var(c X) &=& c^2 Var(X) \\ 3. Var(X + Y) &=& Var(X) + Var(Y) ; 如果 X 與 Y 彼此獨立 \end{eqnarray}
  • 定義:(樣本變異數) $S^2 = \sum_{i=1}^n \frac{(X_i - \bar{X})^2}{n-1} = \frac{n \sum_{i=1}^n X_i^2 - (\sum_{i=1}^n Xi)^2}{n (n-1)}$ ; 其中 S 稱為樣本標準差。
  • 定理:

動差生成函數 (Moment Generation Function)

(15)
\begin{align} m_x(t) = E(e^{t X}) = E(1+ t X + \frac{(t X)^2}{2!} + .... + \frac{(t X)^k}{k!}+ .....) \end{align}

共變異數

(16)
\begin{align} \sigma_{XY} = Cov(X, Y) = E[(X - \mu_X)(Y - \mu_Y)] \end{align}
  • 定理:$Cov(X, Y) = E[X Y] - E[X] E[Y]$
  • 定理:如果 X, Y 相互獨立 ,則 $E[X Y] = E[X] E[Y]$

相關係數

(17)
\begin{align} \rho_{X Y} = \frac{Cov(X,Y)}{\sqrt{Var(X) Var(Y)}} \end{align}
  • 定理:$-1 \le \rho_{XY} \le 1$
  • 定理:$|\rho_{X Y}| = 1 \Leftrightarrow y = \beta_0 + \beta_1 X$

Facebook

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-NonCommercial-ShareAlike 3.0 License