一 熵的另一種表達形式按照Boltzmann關系式 S=kBlnΩ，式中kB是Boltzmann常數，Ω是系統可及微觀狀態總數，系統的微觀態數目越多，熵值就越大。因此，熵是系統內部分子熱運動的混亂度的量度。按統計平均的意義上式還有另一種表示方法，設隔離系統可及微觀狀態為1，2，3，……，Ω。按Boltzmann等概率假設這Ω個可及微觀狀態出現的概率pi都相等，即Pi =1/Ω（i=1,2,……，Ω），因此熵就有了另一種表達形式 
Boltzmann對熵的這個解釋，具有極為深刻的意義，使熵成為一個富有生命力的概念。它不僅促進了熱力學和統計物理學自身理論的發展，并且使熵的應用遠遠超出熱力學和統計物理學的范疇，直接或間接地滲入了信息論，控制論、概率論、天體物理，以及甚至生命科學和社會科學等不同的領域。
二 一個例子
仍然以投擲骰子為例：小張擲一個骰子，讓眼被蒙住的小李猜骰子向上的點數。由于正方體骰子六個側面是等價的， 1、2、3、4、5、6點向上的概率相同都等于1/6，所以小李猜對的概率是1/6。如果提供如下消息：
a: 骰子的點數是偶數。
b: 骰子的點數不是2。
c: 骰子的點數是1,2,3,4,5,6中的一個。
d: 骰子的點數是4。
①當小李只得到其中的一條消息后，他猜對的概率分別為1/3（a） ,1/5（b）, 1/6（c）, 1（d）。
②當小李依次得到a ,b或b ,a這兩條消息，那么他猜對的概率均為1/2。
上面的例子說明:概率反映了事件發生不確定性的大小，而信息是可以改變不確定性的;消息中所含有用“信息”的量（信息量）是不同的，“信息量”是可以數量化的。在定量地描述“信息量”之前必須對事件的不確定性給出確切的量度。
三Shannon（香農）熵
1948年，C.E.Shannon把Boltzmann關于熵的概念引入信息論中，把熵作為一個隨機事件的不確定性的量度。
0 ≤ Pi ≤ 1 （i = 1,2,…….,n） 及 
= 1
對于隨機事件，其主要性質是：對它們的出現與否沒有把握，當進行和這些事件有關的多次實驗時，它們的出現與否具有一定的不確定性，概率實驗先驗地含有這一不確定性，本質上是和該實驗可能結局的分布概率有關。為了量度概率實驗A的不確定性，Shannon引入函數
Hn（A） = H（P1,P2,…….,Pn） = - k
作為概率實驗A實驗結果不確定性的量度，式中k是一個大于零的恒量，因此Hn≥0。量Hn叫做Shannon熵。
| 結果出現的概率 Pi | 1點 | 2點 | 3點 | 4點 | 5點 | 6點 | |
| A | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | k ln6 |
| A+a | 0 | 1/3 | 0 | 1/3 | 0 | 1/3 | kln3 |
| A+b | 1/5 | 0 | 1/5 | 1/5 | 1/5 | 1/5 | kln5 |
| A+c | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | kln6 |
| A+d | 0 | 0 | 0 | 1 | 0 | 0 | 0 |
| A+a+b | 0 | 0 | 0 | 1/2 | 0 | 1/2 | kln2 |
| A+b+a | 0 | 0 | 0 | 1/2 | 0 | 1/2 | kln2 |
可見Shannon熵具有如下性質：在實驗A中，如果任何一個Pi=1，而其余的都是等于零，則Hn=0，因為這時我們可以對實驗結果作出決定性預言，而不存在任何不確定性；反之，如果事先對實驗結果一無所知，則所有的Pi都相等（Pi=1/n , i=1,2,3,……n），這時Hn達到極大值
（Hn）max=k ln （n）
很明顯，在這一極限情況下，實驗結果具有大的不確定性；同時可以證明Shannon熵具有可加性：由兩個獨立事件A和B組成的復合事件C,其Shannon熵
考慮一個隨機事件實驗A，設它有n個可能的（獨立的）結局：a1,a2……，an；每一結局出現的概率分別定P1，P2，P3……Pn，它們滿足以下條件- k
= - k= - k
- k
即 H（AB） = H（A） + H（B）
可以證明上面定義的Shannon熵是一個獨立于熱力學熵的概念，但具有熱力學熵的基本性質（單位性和極值性）。與熱力學熵相比，Shannon熵具有更為廣泛和普通的意義。
四 信息量與信息熵信息論量度信息的基本出發點，是把獲得的信息看作用以消除不確定性的東西，因此信息數量的大小，可以用被消除的不確定性的多少來表示。設隨機事件A在獲得信息α之前結果的不確定性為H（A），得到信息α之后為Hα（A），那么包含在消息α中的關于事件A的信息量: I（α,A） = H（A） - Hα（A）
利用上表的數據可以求出包含在消息a,b,c.d中的關于事件A的信息量：
I（a,A） = kln2
I（b,A）= kln1.2（c,A）= 0
I
I（d,A）= kln6
事件A的Shannon熵H（A） 也可以理解為包含在A這個事件本身中的關于它自己的信息，因為事件發生后結果（d）就確定了,這時 Hd（A） = 0所以H（A） = I（d,A）= kln6。換句話說，事件A的Shannon熵H（A）等于這個事件發生之后，我們所得到的信息。
參 閱 指 南
1 傅獻彩、沈文霞、姚天揚編，《平衡態統計熱力學》，高等教育出版社，1994年。
信息量是信息論的中心概念，把熵作為一個隨機事件的不確定性或信息量的量度，它奠定了現代信息論的科學理論基礎，大大地促進了信息論的發展。一般而言，Shnnon熵在隨機事件發生之前，它是結果不確定性的量度；在隨機事件發生之后，它是我們從該事件中所得到信息的量度（信息量）。因此，隨機事件的Shnnon熵也叫信息熵，它是一個隨機事件的不確定性或信息量的量度。與統計熵相似，在給定的實驗條件下，所有可能的概率分布中，存在一個使信息熵Hn取極大值的分布（
2 傅獻彩、沈文霞、姚天揚編，《物理化學》（上冊），第4版，高等教育出版社，1990年。
3 唐有祺，《統計力學及其在物理化學中的應用》，科學出版社，1979年。
4 B. J. 麥克萊蘭著，龔少明譯，《統計熱力學》，上海科學技術出版社，1980年。
5 姚允斌、朱志昂編，《物理化學教程》（上冊），湖南教育出版社，1984年，P.356-358。
6 高執棣，獨立子體系熱力學定律的統計實質，《物理化學教學文集》，高等教育出版社，1986年。
7 P. W. Atkins, Physical Chemistry, Oxford University Press, 1978, P. 685-687
8 G. C. Lie，Boltzmann Distribution and Boltzmann’s Hypothesis， J. Chem. Educ., 58, 603（1981）。
9 L. K. Nash，On the Boltzmann Distribution Law， J. Chem. Educ., 59, 824（1982）。,
,
,……,
） 。這稱為大信息熵原理。這一原理使我們能從所有可能的相容分布中挑選出使信息熵為極大值的分布——即為常見的、實現概率大的“*”分布。
提供商 |
美國科諾工業有限公司 （戰略合作伙伴：上海梭倫信息科技有限公司） | 下載次數 |
0次 |
資料大小 |
0K | 資料類型 |
未傳
|
資料圖片 |
-- | 瀏覽次數 |
2336次 |
16
立即詢價
您提交后，專屬客服將第一時間為您服務