中央極限定理

機率統計 教學錄影 數學符號 數學基礎 排列組合 機率統計簡介 機率 機率公理 隨機變數 連續測度 單一分布 條件機率 聯合分布 貝氏定理 動差生成函數 特徵函數 機率法則匯總 離散分布 二項分布 多項分布 負二項分布 幾何分布 超幾何分布 布瓦松分布 連續分布 均勻分布 常態分布 Gamma 分布 指數分布 卡方分布 柯西分布 Weibull 分布 T 分布 F 分布 Beta 分布 多維分布 統計 抽樣 敘述統計 推論統計 中央極限定理 估計方法 單組樣本估計 兩組樣本估計 檢定方法 單組樣本檢定 兩組樣本檢定 平均値的推論 變異數的推論 無母數推論 迴歸分析 變異數分析 實驗設計 因子實驗 品質管制 時間序列 數據分類 統計定理匯總 統計情況分類 計算統計 蒙地卡羅法 最大似然法則 假說與學習 EM 算法 簡單貝氏分類 貝氏網路 隨機過程 馬可夫鏈 蒙地卡羅馬可夫 資源 範例 投影片 教學錄影 練習題 考題解答 訊息 相關網站 參考文獻 最新修改 簡體版 English

文章 中央極限定理 (1) \begin{eqnarray} \frac{x_1+x_2+...+x_n}{n} = \bar{x} \rightarrow N(\mu, \sigma/\sqrt{n}) \end{eqnarray} 另一種講法：Z 為標準常態分布 (2) \begin{eqnarray} \frac{\bar{x}-\mu}{\sigma/\sqrt{n}} \rightarrow Z \end{eqnarray} 常態分布的重要數值 (3) \begin{eqnarray} 1. && P[-\sigma < X - \mu < \sigma] &=& 0.68 \\ 2. && P[-2 \sigma < X - \mu < 2 \sigma] &=& 0.95 \\ 3. && P[-3 \sigma < X - \mu < 3 \sigma] &=& 0.997 \end{eqnarray} R 程式範例一 (4) \begin{eqnarray} x_1+x_2+...+x_n \rightarrow N(\mu, \delta/\sqrt{n}) \end{eqnarray} > u <- matrix ( runif(250000), 1000, 250 ) > y <- apply ( u, 2, mean ) > hist(u[,1]) > hist(y) > ?apply > 說明： 1. u 乃是將 25 萬個 uniform 樣本分配成 1000*250 的矩陣， 2. y 對 u 進行列統計 apply ( u, 2, mean ) 代表對每行取平均值 mean(col of u) 的結果。 3. 因此 y 代表從 Uniform Distribution 中每次取出 1000 個樣本，然後進行加總平均 (x1+x2+…+x1000)/1000 的結果。 4. 從下列的 hist(y) 圖形中，我們可以看到中央極限定理的證據：$\mu_i = mean(x_i[1,1000])$ 會趨向常態分布。 圖一、hist(u[,1]) 畫出的圖形 圖二、hist(y) 畫出的圖形 R 程式範例二 CLT = function(x) { op<-par(mfrow=c(2,2)) # 設為 2*2 的四格繪圖版 hist(x, nclass=50) # 繪製 x 序列的直方圖 (histogram)。 m2 <- matrix(x, nrow=2, ) # 將 x 序列分為 2*k 兩個一組的矩陣 m2。 xbar2 <- apply(m2, 2, mean) # 取每兩個一組的平均值 (x1+x2)/2 放入 xbar2 中。 hist(xbar2, nclass=50) # 繪製 xbar2 序列的直方圖 (histogram)。 m10 <- matrix(x, nrow=10, ) # 將 x 序列分為 10*k 兩個一組的矩陣 m10。 xbar10 <- apply(m10, 2, mean) # 取每10個一組的平均值 (x1+..+x10)/10 放入 xbar10 中。 hist(xbar10, nclass=50) # 繪製 xbar10 序列的直方圖 (histogram)。 m20 <- matrix(x, nrow=20, ) # 將 x 序列分為 25*k 兩個一組的矩陣 m25。 xbar20 <- apply(m20, 2, mean) # 取每20個一組的平均值 (x1+..+x20)/20 放入 xbar20 中。 hist(xbar20, nclass=50) # 繪製 xbar20 序列的直方圖 (histogram)。 } CLT(rbinom(100000, 20, 0.5)) # 用參數為 n=20, p=0.5 的二項分布驗證中央極限定理。 CLT(runif(100000)) # 用參數為 a=0, b=1 的均等分布驗證中央極限定理。 CLT(rpois(100000, 4)) # 用參數為 lambda=4 的布瓦松分布驗證中央極限定理。 CLT(rgeom(100000, 0.5)) # 用參數為 n=20, m=10, k=5 的超幾何分布驗證中央極限定理。 CLT(rhyper(100000, 20, 10, 5)) # 用參數為 p=0.5 的幾何分布驗證中央極限定理。 CLT(rnorm(100000)) # 用參數為 mean=0, sd=1 的標準常態分布驗證中央極限定理。 CLT(sample(1:6, 100000, replace=T)) # 用擲骰子的分布驗證中央極限定理。 CLT(sample(0:1, 100000, replace=T)) # 用丟銅板的分布驗證中央極限定理。 圖三、指令 CLT(sample(0:1, 100000, replace=T)) 的執行結果 中央極限定理 (Central Limit Theorem, CLT) 的證明 (5) \begin{eqnarray} \frac{x_1+x_2+...+x_n}{n}  = \bar{x} \rightarrow N(\mu, \delta/\sqrt{n}) \end{eqnarray} 證明：Classical CLT (Lindeberg–Lévy CLT) 本證明的有效條件：假定 $(x_1, x_2,...,x_n$ 是相同且獨立的隨機分布所抽出的樣本。 本證明需使用到機率中的 動差生成函數 與微積分中的 泰勒展開式 假如 E(Y) = 0 且 Var(Y) = 1，那麼根據 $Var(Y) = E(Y^2) - E(Y)^2 = E(Y^2) - 0^2 = E(Y^2)$，則 Y 的動差生成函數將符合下列算式： (6) \begin{eqnarray} m_Y(t) &=& E[1] + t E[Y] + \frac{(t E[Y])^2}{2!} + .... \\ &=& 1 + t * 0 + \frac{t^2 Var(Y)}{2!} + .... \\ &=& 1 + 0 + \frac{t^2}{2!} + .... \\ \end{eqnarray} 令 $Y_i = \frac{X_i-\mu}{\sigma}$，也就是將 $X_i$ 標準化後的結果，那麼 Y 將符合上述的 $E(Y) = 0 , Var(Y) = 1$ 之條件。 接著我們將可以定義算式 $Z_n$ 如下所示 (7) \begin{align} Z_n = \frac{n\bar{X}_n-n\mu}{\sigma \sqrt{n}} = \sum_{i=1}^n {Y_i \over \sqrt{n}} \end{align} 此時根據動差生成函數的基本特性，可以發現 $Z_n$ 的動差特徵函數之特性如下 (8) \begin{align} m_{Z_n}(t) = \left[m_Y\left({t \over \sqrt{n}}\right)\right]^n = \left[ 1 - {t^2 \over 2n} + o\left({t^2 \over n}\right) \right]^n \, \rightarrow \, e^{-t^2/2}, \quad n \rightarrow \infty. \end{align} 也就是隨機變數 $Z_n$ 的動差生成函數 $m_{Z_n}(t)$ 將會趨近於標準常態分布的動差生成函數 $e^{-t^2/2}$。 由於動差生成函數是隨機變數的「指紋」，因此隨機變數 $Z_n$ 也將隨著 n 的增大而越來越趨近標準常態分布 $Z$ 。 參考文獻 The Central Limit Theorem (Part 1) 洋洋 — 淺談機率上的幾個極限定理 Proof of Central Limit Theorem, H. Krieger, Mathematics 157, Harvey Mudd College, Spring, 2005 http://www.math.hmc.edu/~krieger/m157cltproof.pdf Central limit theorem:From Wikipedia, the free encyclopedia http://en.wikipedia.org/wiki/Central_limit_theorem Two Proofs of the Central Limit Theorem, Yuval Filmus, January/February 2010 http://www.cs.toronto.edu/~yuvalf/CLT.pdf Facebook 留言 Facebook Wikidot Post preview: Close preview or Sign in as Wikidot user (will not be published) - + Help: wiki text quick reference 授權 本網頁的作者、授權與引用方式 作者 陳鍾誠，於金門大學資訊工程系，電子郵件：wt.ude.uqn|ccc#wt.ude.uqn|ccc，網站：http://ccckmit.wikidot.com。 授權 本文採用創作共用 (Creative Common) 3.0 版的 姓名標示─非商業性─相同方式分享 授權條款，歡迎轉載或修改使用，但若做為商業使用時必須取得授權，引用本文時請參考下列格式。 中文版 (APA格式) 陳鍾誠 (02 Sep 2011 01:35)，(網頁標題) 中央極限定理，(網站標題) 陳鍾誠的網站，取自 http://ccckmit.wikidot.com/st:centraltheorem ，網頁修改第 89 版。 英文版 (APA格式) Chung-Chen Chen (02 Sep 2011 01:35), Retrieved from http://ccckmit.wikidot.com/st:centraltheorem , Page Revision 89.