資訊理論

作品

書籍

課程

程式集

小說集

論文集

散文集

影片集

編輯雜誌

程式人

電子書

JavaScript

計算語言學

微積分

Blender 動畫

C# 語言

系統程式

高等 C 語言

Java

Android

Verilog

Wikidot

R 統計軟體

機率統計

計算機數學

組合語言

人工智慧

開放原始碼

網路資源運用

計算機結構

相關訊息

常用工具

友站連結

在家教育

RSS

最新修改

網頁列表

簡體版

English

亂度與資訊量

Entropy and Information
性質:
1. I(p) >= 0 ( a real nonnegative measure )
2. I(p1p2) = I(p1) + I(p2) for independent events (additive)
3. I(p) is a continuous function of p
H(X) = -Σ(pi*log(pi)) - 資訊量的定義
Theorem 1 : -Σ(pi*log(pi)) <= -Σ(pi*log(qi))
Theorem 2 : 0<=H(p1, p2, .. ,pn) <= log(n) - 平均分佈具有最大資訊量
Theorem 3 : H(f(X)) <= H(X) - 資訊量經函數作用後遞減
Theorem 4 : H(X/Y) = -Σ( p(x/y)*log(p(x/y)) ) - 條件熵
Theorem 5 : I(X; Y) = H(X) - H(X/Y)
= Σ(P(x, y) * log( P(x,y)/P(x)P(y) )
= H(Y) - H(Y/X) - 互資訊

霍夫曼編碼法

Hoffman Tree and Code

商農定理

Shannon Theorem

公開金匙密碼系統

RSA
step1 : choose large prime number p, q, let n = p*q
step2 : choose number d such that gcd(d, n) = 1
step3 : calculate inverse number e such that e*d mod n = 1
step4 : E(m) = m^e mod n = c
step5 : D(c) = c^d mod n

Facebook

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-NonCommercial-ShareAlike 3.0 License