信息論與編碼章節(jié)練習(2020.06.01)

名詞解釋
即時碼
答案：在唯一可譯變長碼中，有一類碼，它在譯碼時無須參考后續(xù)的碼符號就能立即做出判斷，譯成對應(yīng)的信源符號，則這類碼稱為即時碼。
問答題
簡述連續(xù)信源的熵的定義。
答案：連續(xù)信源的不確定度應(yīng)為無窮大，是相對熵，或叫差熵。在取兩熵之間的差時才具有信息的所有特性。
問答題
證明：若（X，Y，Z）是馬氏鏈，則（Z，Y，X）也是馬氏鏈。
答案：
填空題
根據(jù)信道特性是否隨時間變化，信道可以分為（）和（）。
答案：恒參信道；隨參信道
問答題
簡述香農(nóng)公式的含義。
答案：
問答題
如果你在不知道今天是星期幾的情況下問你的朋友“明天星期幾？”則答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問題，則答案中你能獲得多少信息量（假設(shè)已知星期一至星期日的順序）？
答案：
問答題
黑白氣象傳真圖的消息只有黑色和白色兩種，求：（1）黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7.給出這個只有兩個符號的信源X的數(shù)學模型，假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵X（H）；（2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8，求其熵H2（X）.
答案：
問答題
簡述多用戶信道的分類。
答案：
多址接入信道、廣播信道和相關(guān)信源的多用戶信道
判斷題
卷積碼是一種特殊的線性分組碼。
答案：錯誤
問答題
N維連續(xù)型隨機序列X1X2...XN，有概率密度p（X1X2...XN）以及證明：當隨機序列的分量各自達到正態(tài)分布并彼此統(tǒng)計獨立時熵最大。最大熵為：
答案：

<label id="lmgry"></label>