信息論
1、教學(xué)目標(biāo)：

教學(xué)目標(biāo)：掌握基本的信息論概念，而且要求能夠和日常生活和學(xué)習(xí)結(jié)合起來(lái)，做到活學(xué)活用。掌握信息論基本理論和理想通信系統(tǒng)基本理論，能夠熟練解題，掌握建立數(shù)學(xué)模型和分析數(shù)學(xué)模型的方法，還要掌握抗干擾二源編碼的原理和方法，要求能夠基本上實(shí)現(xiàn)應(yīng)用。最后要掌握古典密碼體制的基本加密和破解方法，并能夠從信息論的角度加以理解。

2、教學(xué)內(nèi)容共分7章：

第一章 概論，從通信的基本模型出發(fā)，討論信息論的研究范圍和方法。

第二章 信源及信源熵，研究信息測(cè)度、信源熵和熵速率等信息論基本概念。

第三章 無(wú)失真信源編碼，介紹理想通信系統(tǒng)的編碼定理，實(shí)現(xiàn)的可能性與方法。

第四章 限失真信源編碼，研究在允許一定程度的失真條件下的信源編碼定理和失真測(cè)度。

第五章 信道及信道容量，介紹信道模型和信道分類標(biāo)準(zhǔn)，并針對(duì)離散信道進(jìn)行深入研究。

第六章 信道編碼，介紹信道編碼定理，研究幾種有代表性的信道編碼。

第七章 網(wǎng)絡(luò)信息安全與密碼學(xué)，以古典密碼學(xué)為入口，介紹經(jīng)典加密/解密方法，數(shù)字簽名技術(shù)及網(wǎng)絡(luò)安全的概念和相關(guān)的分析方法。

第1章                     緒論
教學(xué)內(nèi)容：

1、信息的基本概念

2、信息論的起源、發(fā)展及研究?jī)?nèi)容

3、編碼理論概述

現(xiàn)在的科學(xué)發(fā)展日新月異：生命科學(xué)、計(jì)算機(jī)技術(shù)、通信技術(shù)等等，這其中也包括我們將要學(xué)習(xí)的信息論技術(shù)。信息論起源于通信技術(shù)，但是現(xiàn)在已經(jīng)超越了通信技術(shù)的應(yīng)用領(lǐng)域，成為許多新興學(xué)科共同的理論基礎(chǔ)。基本理論起源于上世紀(jì)40年代，信源熵的定義、量化、信源、信道編碼理論等等。這使得現(xiàn)代通信既高效，又具有高度的保密性。同時(shí)在軍事、經(jīng)濟(jì)、管理等方方面面得到應(yīng)用。今天信息論已經(jīng)不再是抽象、陌生的學(xué)科，而已經(jīng)成為應(yīng)用廣泛，日益受到歡迎的一門基礎(chǔ)理論課。許多高校的電子、網(wǎng)絡(luò)學(xué)科都開設(shè)了信息論課程。

什么是信息論?

它是C.E.Shannon四十年代末期，以客觀概率信息為研究對(duì)象，從通信的信息傳輸問(wèn)題中總結(jié)和開拓出來(lái)的理論。主要研究的問(wèn)題：

1)信源的描述，信息的定量度量、分析與計(jì)算。

2)信道的描述，信道傳輸?shù)亩慷攘俊⒎治雠c計(jì)算。

3)信源、信道與通信系統(tǒng)之間的統(tǒng)計(jì)匹配，以及通信系統(tǒng)的優(yōu)化。

——Shannon的三個(gè)編碼定理。

信息論誕生五十年來(lái)，至今，仍然是指導(dǎo)通信技術(shù)發(fā)展的理論基礎(chǔ)，是創(chuàng)新新通信體制的源泉

信息論這門課呢，要求比較深的數(shù)學(xué)理論作為基礎(chǔ)，我們這門課作為面向工科學(xué)生，所以我們盡量減少?gòu)?fù)雜理論的推倒，著重介紹物理概念，但是作為一門高等院校學(xué)習(xí)的課程，所以還是需要數(shù)學(xué)和其他相關(guān)課程的知識(shí)，（初等數(shù)學(xué)呢，比如平面幾何、排列組合等；高等數(shù)學(xué)：微分、積分、倒數(shù)/偏倒數(shù)、極值等等。工程數(shù)學(xué)上面呢，主要用到了概率論和數(shù)理統(tǒng)計(jì)：概率、條件概率、概率密度、全概率公式、方差、數(shù)學(xué)期望、高斯分布等。數(shù)字電路方面：二進(jìn)制數(shù)和運(yùn)算規(guī)律、移位寄存器方面的知識(shí)），這些是學(xué)好信息論的基礎(chǔ)。最好先準(zhǔn)備一下。

下面我們開始上課，首先介紹一下本節(jié)課要學(xué)習(xí)的內(nèi)容：

本章先用通俗的語(yǔ)言指出信息如同物質(zhì)、能量，均為宇宙的組成要素，其次討論信息的分類方法，最后介紹通信系統(tǒng)的基本模型，并討論信息論研究的目的和范疇。這章的內(nèi)容呢是要大家先有一個(gè)感性的認(rèn)識(shí)，為以后的理論分析打下基礎(chǔ)。

1.1信息的概念
信息是宇宙中除物質(zhì)和能量外的第三要素。

（我們都學(xué)過(guò)艾因斯坦的質(zhì)能轉(zhuǎn)換公式E=mc2，展示了宇宙間存在物質(zhì)和能量，并且可以相互轉(zhuǎn)換的關(guān)系，那么宇宙中除了物質(zhì)和能量以外，有沒(méi)有其他的東西呢，那么，研究表明：還有第三個(gè)要素，這第三個(gè)要素就是信息。物質(zhì)、能量、信息這三者都極為重要，如果沒(méi)有物質(zhì)，那么宇宙就會(huì)變得虛無(wú)縹緲，如果沒(méi)有能量，宇宙就會(huì)失去演化的動(dòng)力，而如果沒(méi)有信息的話，宇宙就會(huì)變得雜亂無(wú)章、不可理喻。可見信息的重要性決不亞于物質(zhì)和能量。）  

研究表明我們的宇宙是一次大爆炸的產(chǎn)物，爆炸產(chǎn)生了物質(zhì)、能量，與此同時(shí)也產(chǎn)生了信息。所以說(shuō)信息存在的歷史和物質(zhì)、能量一樣久遠(yuǎn)。也就是說(shuō)有150億年的歷史。

但是人們對(duì)于信息的了解卻比對(duì)物質(zhì)和能量呢，晚了許多。就是到了現(xiàn)代發(fā)達(dá)的社會(huì)，信息還是沒(méi)有一個(gè)完整、嚴(yán)格的定義。這反而激起了人類的好奇心，信息到底是什么？

實(shí)際上世界上信息的例子是非常多的，比如說(shuō)（蜜蜂的舞蹈、樹枝上果子的顏色、動(dòng)物中的靈長(zhǎng)目，比如（猴子、猩猩）都具有顏色分辨的能力，而狗就沒(méi)有。聽課、看電視、盲人—盲文。非生命—原始化石，硬盤—程序，分子---光譜特性，信息無(wú)處不在，看不見，摸不著）。

信息的特性：

1、  信息與物質(zhì)、能量同屬于宇宙

2、  信息源于宇宙世界、用于生命世界（光盤—生命的介入）

3、  信息具有伴隨物質(zhì)和能量的普遍性

4、  信息具有可度量性（信息論，結(jié)論，定量的概念，標(biāo)準(zhǔn)，科技的先手）

5、  信息具有可創(chuàng)造性（能量不能創(chuàng)造—文藝、影視、歌曲）

6、  信息具有無(wú)耗性（甲-乙）

7、  信息具有可傳遞性（信源-信蘇）

8、  信息具有可存儲(chǔ)性（硬盤）

9、  信息具有不增性（加工、壓縮、放大—但是不會(huì)增大，最多不變或減少）

10、信息具有相對(duì)性（信息的價(jià)值對(duì)精神世界說(shuō)的，所以具有相對(duì)性）

11、信息具有實(shí)效性（信息的價(jià)值隨時(shí)間而改變—股票—明天漲，昨天漲）

12、信息具有催化性（化學(xué)-催化劑，資金、材料、生產(chǎn)率--社會(huì)財(cái)富，促進(jìn)反映，本身不減少）

13、信息具有可加工性（信息可以壓縮、抗干擾、加密，從而有效、堅(jiān)強(qiáng)、保密，但是內(nèi)涵未變，面飯---面包）

14、信息具有排序性（消除不確定，系統(tǒng)無(wú)序--有序，作家寫文章，漢字---小說(shuō)—思想）

15、信息具有理想性（運(yùn)動(dòng)—摩擦，勻速永遠(yuǎn)運(yùn)動(dòng)，即使信道存在噪聲，信源也可以完成高速、準(zhǔn)確的傳輸信息）

16、信息的體積無(wú)限小（分子-原子-電子）分割無(wú)窮-信息無(wú)窮

17、信息具有獨(dú)立性（可以獨(dú)立于物質(zhì)和能量）

18、信息具有無(wú)限（無(wú)限的信息量可以寄于有限的物質(zhì)）

科學(xué)家（鄉(xiāng)農(nóng)）：可選擇的自由度---信息，1948，概率論，給出了度量方法和計(jì)算公式，1949創(chuàng)立了信息論。為那1950：（信息論與社會(huì)）。我國(guó)學(xué)者：信息就是事務(wù)運(yùn)動(dòng)的狀態(tài)和方式（哲學(xué)化），語(yǔ)法信息（憲法），語(yǔ)義信息（具體含義—民法、刑法），語(yǔ)用信息（對(duì)觀測(cè)者的作用效果—主關(guān)價(jià)值：法庭審判），全信息定義困難。

國(guó)際上下了100多種信息定義。學(xué)習(xí)信息論的魅力所在。

1.2信息的分類
通過(guò)對(duì)信息概念、特征和性質(zhì)的討論，使我們對(duì)信息有了定性的認(rèn)識(shí)。但要全面、準(zhǔn)確地掌握信息的概念，必須對(duì)信息有定量的認(rèn)識(shí)。這就要求首先能夠確切地描述信息，即對(duì)信息進(jìn)行分類。

    信息分類有許多不同的準(zhǔn)則和方法。

    按照信息的性質(zhì)，可以分成語(yǔ)法信息、語(yǔ)義信息和語(yǔ)用信息。（層次）

    按照信息的地位，可以分成客觀信息和主觀信息。

    按照信息的作用，可以分成有用信息、無(wú)用信息和干擾信息。

    按照信息的邏輯意義，可以分成真實(shí)信息、虛假信息和不定信息。

    按照信息的傳遞方向，可以分成前饋信息和反饋信息。

    按照信息的生成領(lǐng)域，可以分成宇宙信息、自然信息、社會(huì)信息和思維信息。

    按照信息的應(yīng)用部門，可以分成工業(yè)信息、農(nóng)業(yè)信息、軍事信息、政治信息、科技信息、文化信息、經(jīng)濟(jì)信息、市場(chǎng)信息和管理信息等。

    按照信息的來(lái)源，可以分成語(yǔ)聲信息、圖像信息、文字信息、數(shù)據(jù)信息、計(jì)算信息等。

    按照信息載體的性質(zhì)，可以分成語(yǔ)聲信息、圖像信息、文字信息、電磁信息、光學(xué)信息和生物信息等。

按照攜帶信息的信號(hào)的性質(zhì)，還可以分成連續(xù)信息、離散信息和半連續(xù)信息等。（時(shí)域性質(zhì)）。

符號(hào)數(shù)（二元、多元）。

從應(yīng)用、來(lái)源、載體等多角度來(lái)分析并分類，分類非常復(fù)雜。分析問(wèn)題（利用信息論）

--宇宙150億年歷史，人類少的多。人們知道以前的宇宙是什么樣子—一個(gè)點(diǎn)。天文觀測(cè)：星系間距離在加大--類似于炸彈爆炸。反推—星系靠攏；收縮。宇宙的產(chǎn)生信息留在那里。

1.3信息論研究的目的和范疇
1、通信系統(tǒng)基本模型

手勢(shì)—烽火—電話—網(wǎng)絡(luò)，抽象通信系統(tǒng)如下：（郵政—電信）

模型組成：

 

 

 

 

信道
 
噪聲

 
 
圖 1.3.1  通信系統(tǒng)模型
 



信源：產(chǎn)生消息和消息序列的源，它可以是人、生物、機(jī)器或其他事物。（0、1）

編碼器：對(duì)信號(hào)變換和處理。編碼器可分信源編碼器、信道編碼器、保密編碼器三種。

信道：信道是指通信系統(tǒng)把載荷消息的信號(hào)從甲地傳輸?shù)揭业氐拿浇椋娎|、波導(dǎo)、光纖、無(wú)線電波）。存儲(chǔ)信號(hào)（延遲線）

噪聲源：人為或天然的干擾和噪聲。歸納為一個(gè)噪聲源（加性噪聲--隨機(jī)性—概率統(tǒng)計(jì)）

譯碼器：反變換，恢復(fù)信源消息。編碼器可分信源譯碼器、信道譯碼器、保密譯碼器三種。

信宿：消息傳送的對(duì)象。（機(jī)器、人）（合法、非法）

通信的方式：?jiǎn)喂ぁ腚p工（雙向分時(shí)）、全雙工、廣播（一—多）、網(wǎng)絡(luò)（多-多）

信息傳輸質(zhì)量：消息傳輸?shù)挠行浴⒖煽啃浴⒈Ｃ苄浴⒄J(rèn)證性

1、有效性：信源編碼（壓縮冗余） 

2、可靠性：信道編碼

3、保密性：保密編碼 

4、認(rèn)證性

所謂可靠性高，就是要使信源發(fā)出的消息經(jīng)過(guò)信道傳輸以后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端。

而所謂有效性高，就是經(jīng)濟(jì)效果好，即用盡可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳送一定數(shù)量的信息。以后會(huì)看到，提高可靠性和提高有效性常常會(huì)發(fā)生矛盾，這就需要統(tǒng)籌兼顧。    

所謂保密性就是隱蔽和保護(hù)通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。

所謂認(rèn)證性是指接收者能正確判斷所接收的消息的正確性和完整性，而不是偽造的和被篡改的。

有效性、可靠性、保密性、認(rèn)證性和經(jīng)濟(jì)性構(gòu)成了現(xiàn)代通信系統(tǒng)對(duì)信息傳輸?shù)娜嬉螅渲星八捻?xiàng)正是本書要研究的主要內(nèi)容。

2、信息論的研究范疇

廣義  信息論
 
工  程信息論
 
基礎(chǔ)  信息論
 
 

 

 

 

 

 

 

 

 



1)基礎(chǔ)信息論

主要研究通信系統(tǒng)的數(shù)學(xué)描述與定量分析，研究系統(tǒng)的最優(yōu)狀態(tài)與優(yōu)化理論，即研究通信系統(tǒng)理論上的潛在能力與數(shù)學(xué)上的極限情況。它是以存在性研究為主體，又稱它為數(shù)學(xué)信息論。

2)工程信息論

以工程為背景，主要研究通信系統(tǒng)中各部分的最佳工作規(guī)律，與最佳設(shè)計(jì)原則，它以構(gòu)造性為主體，以工程上技術(shù)問(wèn)題為主。主要包括：

信源編、譯碼理論及其設(shè)計(jì)構(gòu)造方法；

信道編、譯碼理論及其設(shè)計(jì)構(gòu)造方法；

最佳調(diào)制與解調(diào)理論與實(shí)現(xiàn)；

最佳檢測(cè)、估值與最佳接收理論與實(shí)現(xiàn)；

最佳信息處理理論、方法與算法；

……

3)廣義信息論：

核心問(wèn)題是拓廣，有三重含義：

首先是在信息含義的拓廣，以語(yǔ)言信息為例：

 

語(yǔ)法信息
 
語(yǔ)義信息
 
語(yǔ)用信息
 
鄉(xiāng)農(nóng)信息
 
 

 

 

 

 

 

 

 

 

 

 



其次是在描述方法上的拓廣：

從定量到定性；

從客觀到主觀；

從概率到模糊；

從統(tǒng)計(jì)到單個(gè)實(shí)發(fā)。

最后是用途上的拓廣：

從通信領(lǐng)域拓廣至相鄰自然科學(xué)領(lǐng)域；

從自然科學(xué)領(lǐng)域拓廣至社會(huì)科學(xué)領(lǐng)域。