歷史證明質(zhì)量、能量和信息量是三個(gè)非常重要的物理量。而如何度量信息的數(shù)量問題是在信息論中解決的。

　　人們很找早就知道用“稱”或者“天平”計(jì)量物質(zhì)質(zhì)量的多少。然而，我們關(guān)于熱、燃料、能力、活力等等的計(jì)量的問題遲至19世紀(jì)中葉，隨著熱功當(dāng)量的明確和能量守恒定律的明確才清楚起來�！澳芰俊币辉~就是它們的總稱，而計(jì)量能量問題也通過“卡、焦耳”等新單位的出現(xiàn)而得到解決。

　　我們關(guān)于圖畫、文字、數(shù)字、聲音的知識(shí)有幾千年了。但是它們的總稱是什么？如何統(tǒng)一地計(jì)量它們的數(shù)量的問題遲至19世紀(jì)末還沒有正確地提出來，更談不上如何去解決了。20世紀(jì)中期，隨著電報(bào)、照片，無線電、電話、雷達(dá)、電視等等的出現(xiàn)和發(fā)展，如何計(jì)量訊號(hào)中的信息的多少的問題被隱約地提上日程。1928年哈特利（R.V.H.Harley）考慮到從D個(gè)彼此不同的符號(hào)中取出N個(gè)符號(hào)并且組成一個(gè)“字”（詞）的問題。如果各個(gè)符號(hào)出現(xiàn)的概率相同，如果選取的隨機(jī)的，就可以得到DN個(gè)不同的字。從這些字里取了特定的一個(gè)就對(duì)應(yīng)著帶來了一個(gè)信息量I。哈特利建議用用N LOGD這個(gè)數(shù)量表示這個(gè)信息量，即I=N LOGD 。這里的LOG表示以10為底的對(duì)數(shù)。

　　到了1949年控制論的創(chuàng)始人維納也研究了度量信息的問題，還把它引向了熱力學(xué)第二定律。但是就訊號(hào)（信息）傳輸給出基本數(shù)學(xué)模型的核心人物是年僅32歲的申農(nóng)（C.E.Shannon）。1948年申農(nóng)的“通訊的數(shù)學(xué)理論”（The mathematical Theory of communication)，長達(dá)數(shù)十頁的論文，成了信息論正式誕生的里程碑。在他的通訊數(shù)學(xué)模型中，信息的度量的問題被清楚第地提了出來，他把哈特利的公式擴(kuò)大到概率不同的情況，得到了著名的計(jì)算信息熵的公式：

　　H=∑-pilogpi

　　如果計(jì)算中的對(duì)數(shù)（LOG）是以2為底的，那么計(jì)算出來的信息熵就以比特（Bit）為單位。今天在電腦和通信中廣泛使用的的字節(jié)（Byte）、波特、KB、GB等等名詞都是從比特（有的含時(shí)間）演化而來�！氨忍亍钡某霈F(xiàn)標(biāo)志著人類知道了如何計(jì)量信息量了。申農(nóng)的信息論為明確什么是信息量概念做了決定性的貢獻(xiàn)。

　　于是在20世紀(jì)中葉，人類終于對(duì)三個(gè)非常重要的概念：質(zhì)量、能量、信息量都有了定量的計(jì)量辦法了。

　　為闡明質(zhì)量概念做出突出貢獻(xiàn)的是發(fā)現(xiàn)物質(zhì)的力學(xué)定律的牛頓。

　　為闡明能量概念做出突出貢獻(xiàn)的是熱力學(xué)第一定律的發(fā)現(xiàn)者們（邁耳 J.R.Mayer、焦耳 T.P.Joule、赫爾姆霍茲 H.Helmholtz、開爾文 Lord Kelvin）。

　　為闡明信息概念做出突出貢獻(xiàn)的應(yīng)當(dāng)是申農(nóng)（C.E.Shannon）。

　　控制論創(chuàng)始人維納說“信息不是物質(zhì)”，哲學(xué)家說信息與物質(zhì)的關(guān)系是大問題。這些觀點(diǎn)妨礙信息論進(jìn)入物理、化學(xué)、生物、社會(huì)等這些物質(zhì)科學(xué)領(lǐng)地。某些唯物論者曾經(jīng)為信息論扣上了“唯心論、偽科學(xué)”的帽子。信息論在科學(xué)版圖和哲學(xué)版圖中究竟如何定位在今天并沒有很好地解決。

　　20世紀(jì)中期隨著原子彈（核能）的出現(xiàn)，物理學(xué)成為最榮耀的科學(xué)學(xué)科。在隨后的50年里晶體管、人造衛(wèi)星、集成電路、電腦的飛躍發(fā)展無不與物理學(xué)知識(shí)的應(yīng)用有關(guān)。

　　但是我們也驚奇第發(fā)現(xiàn)這些新技術(shù)都是為提高信息的處理能力服務(wù)。光榮的物理學(xué)忙了半個(gè)世紀(jì)，終于發(fā)現(xiàn)自己僅是給信息科學(xué)當(dāng)仆人。這是物理學(xué)的喜劇還是悲劇？

　　信息量能進(jìn)入物理學(xué)嗎？但“信息不是物質(zhì)”！在物理學(xué)的的版圖中人們不知道把信息論放到那里合適。人類知識(shí)體現(xiàn)的這種新的混亂局面可能要繼續(xù)下去。

　　信息論、控制論、系統(tǒng)論等等標(biāo)新立異的新學(xué)科的出現(xiàn)，晃動(dòng)著古老的科學(xué)框架。最后的結(jié)局可能到本世紀(jì)后期才會(huì)明朗一些。到那時(shí)申農(nóng)的某些工作可能被歷史遺忘，但是經(jīng)他闡明的信息概念，連同“比特”這個(gè)單位肯定是我們進(jìn)行科學(xué)思維時(shí)離不開詞匯。