信息论实验报告李红莲实验一

信息论实验报告班级：姓名：学号：实验一：信道容量的迭代算法1.实验目的（1）进一步熟悉信道容量的迭代算法；（2）学习如何将复杂的公式转化为程序；（3）掌握C 语言数值计算程序的设计和调试技术。

2、实验要求（1）已知：信源符号个数r 、信宿符号个数s 、信道转移概率矩阵P 。

（2）输入：任意的一个信道转移概率矩阵。

信源符号个数、信宿符号个数和每个具体的转移概率在运行时从键盘输入。

（3）输出：最佳信源分布P*，信道容量C 。

3.算法分析1：procedure CHANNEL CAPACITY(r,s,(ji p )) 2：initialize:信源分布i p =1/r ，相对误差门限σ，C=—∞3：repeat4：5：6： C 2211log [exp(log )]r s ji ij r j p φ==∑∑7：until C Cσ∆≤8：output P*= ()i r p ,C9：end procedure4.程序调试21211exp(log )exp(log )sji ij j r s ji ij r j p p φφ===∑∑∑i p 1i ji r i ji i p p p p =∑ijφ1、头文件引入出错f:\visualc++\channel\cpp1.cpp(4) : fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory————#include<unistd.h>纠错：//#include<unistd.h>f:\visualc++\channel\cpp1.cpp(5) : fatal error C1083: Cannot open include file: 'values.h': No such file or directory————#include<values.h>纠错：//#include<values.h>2、变量赋值错误f:\visualc++\channel\cpp1.cpp(17) : error C2065: 'ij' : undeclared identifierf:\visualc++\channel\cpp1.cpp(17) : error C2440: 'initializing' : cannot convert from 'int' to 'float ** ' Conversion from integral type to pointer type requires reinterpret_cast, C-style cast or function-style cast————float **phi_ij=ij=NULL;纠错：float **phi_ij=NULL;3、常量定义错误f:\visualc++\channel\cpp1.cpp(40) : error C2143: syntax error : missing ';' before 'for' ————for(i=0;i<r;i++)phi_ij[i]=(float *)calloc(s,sizeof(float));f:\visualc++\channel\cpp1.cpp(52) : error C2021: expected exponent value, not ' '————if(fabs(validate -1.0)>DELTA)f:\visualc++\channel\Cpp1.cpp(84) : error C2021: expected exponent value, not ' '————if(fabs(p_j)>=DELTA)f:\visualc++\channel\Cpp1.cpp(100) : error C2021: expected exponent value, not ' '————if(fabs(phi_ij[i][j])>=DELTA)f:\visualc++\channel\Cpp1.cpp(116) : error C2021: expected exponent value, not ' ' ————while(fabs(C-C_pre)/C>DELTA);纠错：#define DELTA 0.000001;F:\visualc++\channel\Cpp1.cpp(68) : error C2065: 'MAXFLOAT' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(68) : warning C4244: '=' : conversion from 'int' to 'float', possible loss of data————C=-MAXFLOAT;纠错：#define MAXFLOAT 1000000;3、引用中文逗号f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xa1'f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xb1'f:\visualc++\channel\cpp1.cpp(60) : error C2065: 'Starting' : undeclared identifierf:\visualc++\channel\cpp1.cpp(60) : error C2059: syntax error : '.'f:\visualc++\channel\cpp1.cpp(60) : error C2017: illegal escape sequencef:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xa1'f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xb1'————fprintf(stdout,”Starting..\n”);纠错：fprintf(stdout,"Starting..\n");4、没有进行强制转换F:\visualc++\channel\Cpp1.cpp(65) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————p_i[i]=1.0/(float)r;纠错：p_i[i]=(float)(1.0/(float)r);F:\visualc++\channel\Cpp1.cpp(101) : warning C4244: '+=' : conversion from 'double' to 'float', possible loss of data————sum[i]+=p_ji[i][j]*log( phi_ij[i][j])/ log(2.0);纠错：sum[i]+=(float)(p_ji[i][j]*log( phi_ij[i][j])/ log(2.0));F:\visualc++\channel\Cpp1.cpp(103) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————sum[i]=pow(2.0,sum[i]);纠错:sum[i]=(float)(pow(2.0,sum[i]));F:\visualc++\channel\Cpp1.cpp(114) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————C= log(p_j)/ log(2.0);纠错：C= (float)(log(p_j)/ log(2.0));4、表达式错误F:\visualc++\channel\Cpp1.cpp(86) : error C2065: 'phi_ji' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(86) : error C2109: subscript requires array or pointer typeF:\visualc++\channel\Cpp1.cpp(86) : error C2109: subscript requires array or pointer type ————phi_ij[i][j]=p_i[i]* phi_ji[i][j]/p_j;纠错：phi_ij[i][j]=p_i[i]* p_ji[i][j]/p_j;F:\visualc++\channel\Cpp1.cpp(122) : error C2065: 'fprint' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xa1'F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xb1'F:\visualc++\channel\Cpp1.cpp(122) : error C2065: 'The' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(122) : error C2146: syntax error : missing ')' before identifier 'iteration'F:\visualc++\channel\Cpp1.cpp(122) : error C2017: illegal escape sequenceF:\visualc++\channel\Cpp1.cpp(122) : error C2017: illegal escape sequenceF:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xa1'F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xb1'————fprint(stdout,”The iteration number is %d.\n\n”,k);纠错：fprintf(stdout,"The iteration number is %d.\n\n",k);F:\visualc++\channel\Cpp1.cpp(145) : error C2143: syntax error : missing ')' before ';' ————free((p_i);纠错：free(p_i);5、没有返回值F:\visualc++\channel\Cpp1.cpp(149) : warning C4508: 'main' : function should return a value; 'void' return type assumed、纠错：return 0;5.改进程序/*引入头文件*/#include<stdio.h>#include<math.h>#include<stdlib.h>/*定义常量*/#define DELTA 0.0000001//DELTA为相对误差门限#define MAXFLOAT 1000000;//MAXFLOAT为初始化信道容量值int main( void){/*定义全局变量*//*register允许直接从寄存器中读取变量，提高速率*/register int i,j;//i、j为整型变量register int k;//信道容量迭代计算次数int r,s;//r为信源符号个数，s为新宿符号个数float *p_i=NULL;//r个信源符号发生的概率float **p_ji=NULL;//信源到新宿的信道转移概率矩阵Pfloat **phi_ij=NULL;float C,C_pre,validate;//C为信道容量，C_pre为信道最大容量，validate为判定输入转移概率矩阵是否合法float * sum=NULL;//信源符号所带的全部信息量float p_j;//条件概率/*输入信源符号和新宿符号个数*/printf("请输入信源符号个数r、信宿符号个数s...\n");printf("+++++注意！！！r必须大于等于s！！+++++\n");fscanf(stdin,"%d",&r);fscanf(stdin,"%d",&s);/*为 p_i,p_ji 和 phi_ij 分配内存空间*/p_i=(float *)calloc(r,sizeof(float));p_ji=(float **)calloc(r,sizeof(float));/*为每个p_ji分配大小为s的内存空间*/for(i=0;i<r;i++)p_ji[i]=(float *)calloc(s,sizeof(float));phi_ij=(float **)calloc(r,sizeof(float*));/*输入转移概率矩阵*/for(i=0;i<r;i++)/*为每个phi_ij分配大小为s的内存空间*/phi_ij[i]=(float *)calloc(s,sizeof(float));printf("信道转移概率矩阵P...\n");for(i=0;i<r;i++)for(j=0;j<s;j++)fscanf(stdin,"%f",&p_ji[i][j]);/*判定输入的转移概率矩阵是否正确*/for(i=0;i<r;i++){validate=0.0;for(j=0;j<s;j++){validate +=p_ji[i][j];}if((validate-1.0)>=0)//如果转移概率矩阵的概率和大于1，输入数据不合法{fprintf(stdout,"invalid input data.\n");exit(-1);}}/*显示开始计算..*/fprintf(stdout,"Starting..\n");/*初始化 p_i 和 phi_ij*/for(i=0;i<r;i++){/* p_i为等概率，即概率为1/r*/p_i[i]=(float)(1.0/(float)r);}/*初始化信道容量c，迭代次数k和临时变量variable*/C=-MAXFLOAT;k=0;/* 为sum分配大小为r的内存空间*/sum=(float *)calloc(r,sizeof(float));/*开始迭代计算*/do{k++;//每进行一次迭代，迭代次数k加1/* 计算phi_ij(k)*/for(j=0;j<s;j++){p_j=0.0;for(i=0;i<r;i++)p_j+=p_i[i]*p_ji[i][j];if(fabs(p_j)>=DELTA)for(i=0;i<r;i++)phi_ij[i][j]=p_i[i]* p_ji[i][j]/p_j;elsefor(i=0;i<r;i++)phi_ij[i][j]=0.0;}/*计算p_i(k+1)*/p_j=0.0;for(i=0;i<r;i++){sum[i]=0.0;for(j=0;j<s;j++){/*相对误差门限为0*/if(fabs(phi_ij[i][j])>=DELTA)sum[i]+=(float)(p_ji[i][j]*log( phi_ij[i][j])/ log(2.0)); }sum[i]=(float)(pow(2.0,sum[i]));p_j+=sum[i];}for(i=0;i<r;i++){p_i[i]=sum[i]/p_j;}C_pre=C;C= (float)(log(2.0)/log(p_j) );}while(fabs(C-C_pre)/C>DELTA);free(sum);sum=NULL;/*显示结果*/fprintf(stdout,"The iteration number is %d.\n\n",k);//迭代次数fprintf(stdout,"The capacity of the channel is %.6f bit/symbol:\n\n",C);//信道容量fprintf(stdout,"The best input probability distribution is :\n");//最佳信源分布 for(i=0;i<r;i++)fprintf(stdout,"%.6f\n",p_i[i]);fprintf(stdout,"\n");/* 释放指针空间*/for(i=s-1;i>=0;i--){free(phi_ij[i]);phi_ij[i]=NULL;}free(phi_ij);phi_ij=NULL;for(i=r-1;i>=0;i--){free(p_ji[i]);p_ji[i]=NULL;}free(p_ji);p_ji=NULL;free(p_i);p_i=NULL;exit(0);return 0;}6.实验结果6.实验二：唯一可译码判决准则1.实验目的（1）进一步熟悉唯一可译码判决准则；（2）掌握C语言字符串处理程序的设计和调试技术。

《信息论与编码技术》实验报告实验一：请根据公式-plogp ，说明小概率事件和大概率事件对熵的贡献。

解：先做图，然后分析。

将公式写为)(log )(2p p p f -=对它编写计算和画图程序如下：p=0:0.01:1;x=-p.*log2(p);plot(p,x);从图中曲线看出，小概率事件和大概率事件的情况下，熵值都很低，贡献很小，在概率为0.5附近时熵值最大，故此时对熵的贡献最大。

实验二：请对a 、b 、c 霍夫曼编码，它们的概率是0.6、0.3、0.1。

并以此对符号串ababaacbaa 编码和译码。

解：编码步骤分为：事件排序，符号编码，信源编码，信道编码。

MATLAB 程序：clc;a=0.3;b=0.3;c=0.4; %%%霍夫曼编码A=[a,b,c];A=fliplr(sort(A)); %%%降序排序if (a==b)&(a>c), %%实现了当a,b,c 其中两概率相同时的编码，及3值均不同时的编码 u='a';x=a;v='b';y=b;w='c';z=c;elseif (a==b)&(a<c),u='c';x=c;v='a';y=a;w='b';z=b;elseif (c==b)&(c>a),u='b';x=b;v='c';y=c;w='a';z=a;elseif (c==b)&(c<a),u='a';x=a;v='b';y=b;w='c';z=c;elseif(a==c)&(a>b),u='a',x=a;v='c',y=c;w='b',z=b;elseif(a==c)&(a<b),u='b';x=b;v='a';y=a;w='c';z=c;elseif A(1,1)==a,u='a';x=a;elseif A(1,1)==b,u='b';x=b;elseif A(1,1)==c,u='c';x=c;endif A(1,2)==a,v='a';y=a;elseif A(1,2)==b,v='b';y=b;elseif A(1,2)==c,v='c';y=c;endif A(1,3)==a,w='a';z=a;elseif A(1,3)==b,w='b';z=b;elseif A(1,3)==c,w='c';z=c;endend %%%x，y，z按从大到小顺序存放a，b，c的值，u,v,w存对应字母if x>=(y+z),U='0';V(1)='0';V(2)='1';W(1)='1';W(2)='1';else U='1';V(1)='0';V(2)='0';W(1)='1';W(2)='0';enddisp('霍夫曼编码结果：')if u=='a',a=fliplr(U),elseif u=='b',b=fliplr(U),else c=fliplr(U),end if v=='a',a=fliplr(V),elseif v=='b',b=fliplr(V),else c=fliplr(V),end if w=='a',a=fliplr(W),elseif w=='b',b=fliplr(W),else c=fliplr(W),end %%%编码步骤为：信源编码，信道编码disp('信源符号序列：')s='ababaacbaa' %%%信源编码q=[];for i=s;if i=='a',d=a;elseif i=='b';d=b;else d=c;end;q=[q,d];endm=[]; %%%符号变数字for i=q;m=[m,str2num(i)];endP=[1,1,1,0;0,1,1,1;1,1,0,1];G=[eye(3),P];%%%信道编码%%%接下来的for循环在程序中多次使用，此处作用是将已编码组m每3个1组放入mk中进行运算之后存入Ck数组中，每次mk中运算结束之后清空，再进行下一组运算，而信道编码结果数组C则由C=[C,Ck]存入每组7个码。

NANCHANG UNIVERSITY信息论与编码实验报告（2018年11月27日）学院：信息工程学院系电子信息工程系专业班级：学生姓名：学号：指导教师：目录实验一自信息量和熵源.............................................................................................. 实验二准对称信道容量.............................................................................................. 实验三费诺不等式...................................................................................................... 实验四香农编码.......................................................................................................... 实验五费诺编码.......................................................................................................... 实验六霍夫曼编码......................................................................................................实验一自信息量和熵源一、实验要求1、画出I=-的函数图；2、画出H(p)=-p-(1-p)函数图。

二、实验原理及理论分析自信息量：一个事件的自信息量就是对其不确定性的度量。

信息论实验报告学生：班级：学号：实验一香农编码一、程序设计的流程图二、程序清单#include <iostream>#include<math.h>#include<string>using namespace std;void swap(double *x,double *y);int main(){int N;cout<<"输入信源个数"<<endl;cin>>N;double S[N]; //注意变量在数组中的影响cout<<"输入信源概率"<<endl;for(int i=0;i<N;i++)cin>>S[i];for(int i=0;i<N;i++){for(int j=i;j<N;j++)if(S[i]<S[j])swap(S[i],S[j]);}int nm[N];for(int i=0;i<N;i++){nm[i]=int(-(log(S[i])/log(2)))+1;if(nm[i]==(-(log(S[i])/log(2)))+1)nm[i]--;}double AA[N];AA[0]=S[0];for(int i=1;i<N;i++ )AA[i]=AA[i-1]+S[i];string MM[N];for(int i=0;i<N;i++){double tem=0;double aa=AA[i];for(int j=0;j<N;j++){tem=aa*2;if(tem>1){MM[i]+='1';aa=tem-1;}else{MM[i]+='0';aa=tem;}}}string BB[N];for(int i=0;i<N;i++){for(int j=0;j<nm[i];j++)BB[i]+=MM[i][j];}cout<<"输出编码"<<endl;for(int i=0;i<N;i++)cout<<BB[i]<<endl;}void swap(double &x,double &y){double a;a=x;x=y;y=a;}实验二.费洛编码.一、 流程图二、程序清单#include <iostream>#include<string>#include<math.h>using namespace std;void dw(int n,int H,int W,double *si,string *m); int main(){int N;cout<<"输入信源个数"<<endl;cin>>N;double S[N];cout<<"输入信源概率"<<endl;for(int i=0;i<N;i++)cin>>S[i];for(int i=0;i<N;i++){for(int j=i;j<N;j++){if(S[i]<S[j]){double a;a=S[i];S[i]=S[j];S[j]=a;}}}string MM[N];dw(N,0,N-1,S,MM);cout<<"输出编码"<<endl;for(int i=0;i<N;i++)cout<<MM[i]<<endl;}void dw(int n,int H,int W,double *si,string *m ) {double sum=0,sm=0;int a1=W-H;if(a1>=1){for(int j=H;j<=W;j++)sum+=*(si+j);double b[n];for(int i=H;i<=W;i++){sm+=*(si+i);b[i]=fabs(2*sm-sum)/sum;}int ZH;double a=b[H];for(int i=H;i<=W;i++)if(b[i]<=a){a=b[i];ZH=i;}for(int i=H;i<=W;i++){if(i<=ZH) m[i]+='0';else m[i]+='1';}int nn=n;double *ss;ss=si;string *mm;mm=m;if(ZH==H)dw(nn,ZH+1,W,ss,mm);else if(ZH==W-1)dw(nn,H,ZH,ss,mm);else{dw(nn,H,ZH,ss,mm);dw(nn,ZH+1,W,ss,mm);}}}实验三.霍夫曼一、程序流程图二、 程序清单#include<iostream>#include<string>using namespace std;struct HNode{double weight;int parent;int lchild;int rchild;};void HuffmanTree(HNode *HuffNode,int n,double *si,string *m); int hc(string m);void nv(string *m,int n);int main(){int N;cout<<"输入信源个数"<<endl;cin>>N;double *S=new double[N];cout<<"输入信源概率"<<endl;for(int i=0;i<N;i++)cin>>S[i];string *MM=new string[N];for(int i=0;i<N;i++){for(int j=i;j<N;j++){if(S[i]<S[j]){double a;a=S[i];S[i]=S[j];S[j]=a;}}}HNode *node=new HNode[2*N-1];HuffmanTree(node,N,S,MM);nv(MM,N);cout<<"输出编码"<<endl;for(int i=0;i<N;i++)cout<<MM[i]<<endl;}void HuffmanTree(HNode *HuffNode,int n,double *si,string *m) {int i,j,x1,x2,c,p;float m1,m2;for (i=0;i<2*n-1;i++){HuffNode[i].weight=0;HuffNode[i].parent=-1;HuffNode[i].lchild=-1;HuffNode[i].rchild=-1;}for (i=0;i<n;i++){HuffNode[i].weight=si[i];}for (i=0;i<n-1;i++){m1=m2=1;x1=x2=0;for (j=0;j<n+i;j++){if (HuffNode[j].parent==-1&&HuffNode[j].weight<m1){m2=m1;x2=x1;m1=HuffNode[j].weight;x1=j;}else if (HuffNode[j].parent==-1&&HuffNode[j].weight<m2){m2=HuffNode[j].weight;x2=j;}}HuffNode[x1].parent=n+i;HuffNode[x2].parent=n+i;HuffNode[n+i].weight=HuffNode[x1].weight+HuffNode[x2].weight;HuffNode[n+i].lchild=x1;HuffNode[n+i].rchild=x2;}for(i=0;i<n;i++){c=i;p= HuffNode[c].parent;while(p!=-1){if(HuffNode[p].lchild ==c)m[i]+='0';elsem[i]+='1';c=p;p=HuffNode[c].parent;}}}int hc(string m){int a=0;for(int i=0;m[i]!='\0';i++)a++;return a;}void nv(string *m,int n){char mn[n];int b;for(int i=0;i<n;i++){b=hc(m[i]);for(int j=0;j<b;j++){mn[j]=m[i][b-j-1];}m[i]=mn;}}实验四.信道一、程序流程图三、程序清单#include <stdlib.h>#include <iostream>#include <math.h>using namespace std;int main(){int ni,no;int i,j;cout<<"输入信源个数"<<endl;cin>>ni;cout<<"输出信源个数"<<endl;cin>>no;double *Si=new double[ni];double *So=new double[no];cout<<"输入信源概率"<<endl;for (i=0;i<ni;i++){cin>>Si[i];}cout<<endl;//再输入信道转移概率矩阵//注意进行判断，某行如果总概率大于1，则出现错误应从新输入cout<<"输入转移概率："<<endl;float **p; //转移条件概率p=new float *[ni];for (i=0;i<ni;i++){p[i]=new float[no];}for (i=0;i<ni;i++){for (j=0;j<no;j++){cin>>p[i][j];}}for (i=0;i<ni;i++){float a=0;for (j=0;j<no;j++){a+=p[i][j];}if (a!=1.0){cout<<"输入数据有误，请检查后再次输入。

实习报告实习单位：某某信息科技有限公司实习时间：2023年2月18日至2023年3月18日实习岗位：信息论实习生一、实习背景及目的随着信息技术的快速发展，信息论作为一门研究信息传输和处理的理论基础，在各领域中发挥着越来越重要的作用。

为了加深我对信息论知识的理解，提高实际操作能力，我选择了某某信息科技有限公司进行为期一个月的实习。

实习目的在于将所学理论知识与实际工作相结合，拓宽知识面，培养实践操作技能。

二、实习内容及收获1. 实习内容（1）参与公司项目研发，负责信息传输过程中的信号处理和编码工作。

（2）协助工程师进行实验室测试，收集实验数据，分析实验结果。

（3）学习公司内部技术文档，了解公司的信息论技术应用和发展方向。

（4）参加公司组织的培训课程，提升自己在信息论方面的专业知识。

2. 实习收获（1）理论知识应用：通过实际参与项目研发，我将所学的信息论知识应用于实际工作中，提高了理论知识的实际运用能力。

（2）实践操作技能：在实验室测试过程中，我学会了使用各种测试设备，掌握了实验数据的收集和分析方法。

（3）团队协作：与公司同事共同完成项目任务，我学会了如何进行有效沟通，提高了团队协作能力。

（4）行业认识：通过实习，我更加了解了信息论在实际应用中的重要性，以及对相关行业的发展趋势有了更深入的认识。

三、实习中遇到的问题及解决办法在实习过程中，我遇到了一些问题，主要包括：（1）理论知识与实际应用的衔接：在实际工作中，我发现所学理论知识并不能直接应用于实际问题，需要不断地学习和摸索。

（2）技术难题：在项目研发过程中，遇到了一些技术难题，需要向工程师请教和寻求帮助。

解决办法：（1）加强学习：通过阅读相关资料和参加公司培训，提高自己的理论水平和实际操作能力。

（2）积极请教：遇到问题时，主动向工程师请教，争取他们的指导和帮助。

四、实习总结通过本次实习，我对信息论在实际应用中的重要性有了更深入的认识，同时自己的实践操作能力和团队协作能力也得到了锻炼和提高。

中国地质大学(武汉)CHINA UNIV ERSIT Y OF GEOSCIENCES信息论课程实验报告指导老师：严军姓名：刘一龙班级：71082-14学号：20081002007中国地质大学（武汉）2011年6月实验一构造（7,4）系统码一、实验题目Construct a systematic (7,4) linear block code. Y ou can use c / MA TLAB / HDL (VHDL or Verilog-HDL) to describe it. Please write the detail of how to realize it in computer language. And list the program lines.二、实验程序算法设计：利用H的线性独立，通过n的二进制形式构造出H，然后利用H构造出G。

本算法具有通用性，不仅可以计算出（7,4）的生成矩阵，还可以构造出（15,11），（31,26）的生成矩阵。

Matlab程序：clc;disp('请输入系统码n的值');n = input('n=');disp('请输入系统码k的值');k = input('k=');r = n-k;temp=[];for i=1:ny=dec2bin(i,r);for j=1:rtemp(i,j)=mod(y(j),2);endendfor i=1:rt = temp(i,:);temp(i,:)=temp(2^(i-1),:);temp(2^(i-1),:)=t;endfor i=1:(fix(r/2))t = temp(:,i);temp(:,i)=temp(:,r-i+1);temp(:,r-i+1)=t;endH = temp';%-----构造矩阵G--------%P=H(:,r+1:n);G=[P',eye(k)];disp('生成矩阵');Gdisp('校验矩阵');H三、实验结果请输入系统码n的值n=7请输入系统码k的值k=4生成矩阵G =1 1 0 1 0 0 01 0 1 0 1 0 00 1 1 0 0 1 01 1 1 0 0 0 1校验矩阵H =1 0 0 1 1 0 10 1 0 1 0 1 10 0 1 0 1 1 1请输入系统码n的值n=15请输入系统码k的值k=11生成矩阵G =Columns 1 through 81 0 1 0 1 0 0 00 1 1 0 0 1 0 01 1 1 0 0 0 1 01 1 0 0 0 0 0 11 0 0 1 0 0 0 00 1 0 1 0 0 0 01 1 0 1 0 0 0 00 0 1 1 0 0 0 01 0 1 1 0 0 0 00 1 1 1 0 0 0 01 1 1 1 0 0 0 0 Columns 9 through 150 0 0 0 0 0 00 0 0 0 0 0 00 0 0 0 0 0 00 0 0 0 0 0 01 0 0 0 0 0 00 1 0 0 0 0 00 0 1 0 0 0 00 0 0 1 0 0 00 0 0 0 1 0 00 0 0 0 0 1 00 0 0 0 0 0 1校验矩阵H =Columns 1 through 81 0 0 0 1 0 1 10 1 0 0 0 1 1 10 0 1 0 1 1 1 00 0 0 1 0 0 0 0Columns 9 through 151 0 1 0 1 0 10 1 1 0 0 1 10 0 0 1 1 1 11 1 1 1 1 1 1实验二循环码一、实验题目We have already learned how to encode and decode cyclic codes. Please use the generator polynomial g(x)=1+x+x2+x4to construct a (7,3) code. And if the received code vector is [1 1 0 0 1 1 1], how to decode it? Use c / MATLAB / HDL language to realize the encoding and decoding system.二、实验程序算法设计：通过计算自己将生成矩阵G输入到计算机，然后输入要传输的信息m，利用c=mG 自动生成码字c。

一、实验目的1. 理解信息论的基本概念和原理；2. 掌握信息熵、条件熵、互信息等基本概念的计算方法；3. 学会使用 MATLAB 进行信息论实验，并分析实验结果；4. 提高编程能力和数据分析能力。

二、实验原理信息论是一门研究信息传输、处理和存储的学科，其核心是信息熵。

信息熵是衡量信息不确定性的度量，表示信息中所包含的平均信息量。

信息熵的计算公式如下：H(X) = -Σ p(x) log2(p(x))其中，H(X) 表示随机变量 X 的熵，p(x) 表示 X 取值为 x 的概率。

条件熵是衡量在已知另一个随机变量 Y 的条件下，随机变量 X 的不确定性。

条件熵的计算公式如下：H(X|Y) = -Σ p(x,y) log2(p(x|y))其中，H(X|Y) 表示在 Y 已知的条件下 X 的熵，p(x,y) 表示 X 和 Y 同时取值为x 和 y 的概率，p(x|y) 表示在 Y 已知的情况下 X 取值为 x 的条件概率。

互信息是衡量两个随机变量之间相互依赖程度的度量。

互信息的计算公式如下：I(X;Y) = H(X) - H(X|Y)其中，I(X;Y) 表示随机变量 X 和 Y 之间的互信息。

三、实验内容1. 使用 MATLAB 编写程序，计算给定信源的概率分布，并计算其熵；2. 使用 MATLAB 编写程序，计算给定两个随机变量的联合概率分布，并计算其条件熵和互信息；3. 分析实验结果，验证信息熵、条件熵和互信息之间的关系。

四、实验步骤1. 输入信源的概率分布，使用 MATLAB 计算 H(X)；2. 输入两个随机变量的联合概率分布，使用 MATLAB 计算 H(X,Y)、H(X|Y) 和I(X;Y)；3. 分析实验结果，比较 H(X)、H(X|Y) 和 I(X;Y) 之间的关系。

五、实验结果与分析1. 信源概率分布及其熵输入信源的概率分布为：p(x) = [0.2, 0.3, 0.5]计算得到：H(X) = -0.2 log2(0.2) - 0.3 log2(0.3) - 0.5 log2(0.5) ≈ 1.5852. 两个随机变量的联合概率分布及其条件熵和互信息输入两个随机变量的联合概率分布为：p(x,y) = [0.1, 0.2, 0.3, 0.4]计算得到：H(X,Y) = -0.1 log2(0.1) - 0.2 log2(0.2) - 0.3 log2(0.3) - 0.4log2(0.4) ≈ 2.097H(X|Y) = -0.1 log2(0.1) - 0.2 log2(0.2) - 0.3 log2(0.3) - 0.4log2(0.4) ≈ 1.585I(X;Y) = H(X) - H(X|Y) ≈ 0.512分析实验结果，可以发现：（1）信息熵 H(X) 表示信源中包含的平均信息量，当信源概率分布越均匀时，信息熵越大；（2）条件熵 H(X|Y) 表示在已知随机变量 Y 的条件下，随机变量 X 的不确定性，当 X 和 Y 之间的依赖程度越高时，条件熵越小；（3）互信息 I(X;Y) 表示随机变量 X 和 Y 之间的相互依赖程度，当 X 和 Y 之间的依赖程度越高时，互信息越大。

信息论实验·第一次实验报告题目一：掷毂子游戏的熵实验步骤：（程序见附件）我们首先计算掷毂子游戏熵的理论值：首先可以得到加和为2、3、…12的概率分别为1/36、2/36….6/36、5/36…1/36，然后利用公式：可以得到掷毂子游戏的熵的理论值为3.27bit/符号。

然后计算熵的仿真值：首先设定N=100:100:100000，然后做N次试验，统计最后加和的值所出现的频率，用频率近似概率，再次利用以上公式，得到仿真熵。

最后对不同的N得到的仿真熵与理论值的差别作图，寻找规律。

实验结论：经过理论分析，我们可知加和为2、3、…12的概率分别为1/36、2/36….6/36、5/36…1/36，进而得到掷毂子游戏的熵的理论值为3.27bit/符号。

下图为N取不同值时仿真熵的变化曲线（N=100:100:100000）：根据观察可以得到，当N逐渐增大时，仿真熵逐渐趋近于理论计算得到的熵3.27bit/符号。

题目一（可选）：计算英文文本的熵实验步骤：（程序见附件）首先，我们导入了一段样本文本，节选自欧亨利的小说《警察与赞美诗》（文本见附件），统计这段文本中英文字母（区分大小写）和空格出现的个数，进而得到各个字母出现的概率p(x)，然后利用公式：计算样本的熵H(X)。

然后，我们统计了文本中相邻两个字符出现的概率p(xy)，通过计算边缘概率分布可得p(x)，然后利用公式p(y|x)=p(xy)/p(x)条件分布概率p(y|x)，最后利用公式：计算得到样本的相邻两个字符的条件熵H(Y|X)。

最后，我利用生成了一组独立等概分布的英文随机序列，重新计算H(X)、H(Y|X)，以检验模型的正确性。

实验结论：首先，我们可得实验的结果列表：输入文本测试项目实验值理论值小说节选H(X) 4.21bit/symbol 4.03bit/symbol小说节选H(Y|X) 3.14bit/symbol 3.32bit/symbol随机序列H(X) 5.72bit/symbol 5.73bit/symbol随机序列H(Y|X) 5.51bit/symbol 5.73bit/symbol 在上表中，实验值是通过matlab仿真得到，小说节选的两项理论值是通过查阅《信息论基础》（田宝玉、杨洁等编著，57页）得到，随机序列的理论值是通过计算：得到，随机序列共有53个符号，等概出现，我们认为H(Y|X)=H(Y)=。

前言信息论是现代通信与信息工程的理论基础。

作为电子信息科学与技术专业本科生的学科基础课，本课程主要讲授：信息的定义和测度、信源和信息熵、连续熵和信息变差、信道和互信息、平均互信息和信道容量、数据处理和信息测量理论、无失真信源编码理论和编码方法等内容。

本课程按“单符号离散信息系统”、“多符号离散信息系统”、“连续信息系统”三个“系统”层面，逐步深入展开，以严密的数学分析贯串始终。

通过教学，使学生掌握信息理论的基本概念和信息分析方法，为今后进一步研究信息科学和信息技术打下坚实的理论基础。

实验一：唯一可译码判断实验学时：3实验类型：（演示、验证、综合、√设计、研究）实验要求：（√必修、选修）一、实验目的通过本次试验了解唯一可译码地判断原理；实现用C语言编写判断唯一可译码地程序二、实验内容编程实现唯一可译码的判决准则―――Sardinas－Patterson算法三、实验原理、方法和手段Sardinas－Patterson算法描述：设C为码字集合，按以下步骤构造此码的尾随后缀集合F：(1) 考查C中所有的码字，若Wi是Wj的前缀，则将相应的后缀作为一个尾随后缀放入集合F0中；(2) 考查C和Fi两个集合，若Wj∈C是Wi∈Fi的前缀或Wi∈Fi是Wj∈C的前缀，则将相应的后缀作为尾随后缀码放入集合Fi+1中；(3)F=∪Fi即为码C的尾随后缀集合；(4) 若F中出现了C中的元素，则算法终止，返回假(C不是唯一可译码)；否则若F中没有出现新的元素，则返回真。

在我们设计的算法中，需要注意的是我们需要的是先输出所有尾随后缀的集合，然后再判断该码是否是唯一可译码，即如F中出现了C中的元素，则C不是唯一可译码，否则若F中没有出现新的元素，则C为唯一可译码。

而不是F中出现C中的元素就终止，这也是在本题的要求中需要注意的问题。

1、概要设计：由于需要判断尾随后缀，所以我们需要反复的比较C和F中的码字。

1）首先我们用一个b[30][30]的数组来存放所有的尾随后缀的集合；用Q记录所有尾随后缀的个数；2）用数组a[30][30]来存放输入的码字，L[30]来存放码字的长度；通过一个双重循环并调用houzhui（a[i],a[j],L[i],L[j]）函数来找到a[30][30]中的为随后缀，即：for(i=0;i<n-1;i++){for(j=0;j<n;j++){if(i!=j&&L[i]<L[j])HuoZhui(a[i],a[j],L[i],L[j]);}}3）通过判断Q是否大于0，如果不大于0，即b[30][30]中没有码字，也就是不存在尾随后缀，那么可判断a[30][30]是唯一可译码，否则进行如下操作；4）计算b[30][30]中尾随后缀的长度，用k1表示；并调用HuoZhui(b[i],a[j],k1,L[j])其中k1<L[j]来a[30][30]中所存在的后缀，并加入到b[30][30]中，通过一个循环，找到a[30][30]中所有尾随后缀；即for(i=0;i<Q;i++){k1=strlen(b[i]);for(j=0;j<n;j++){if(k1<L[j])HuoZhui(b[i],a[j],k1,L[j]);}}5）寻找b[30][30]中的尾随后缀；用k2表示b[30][30]中码字的长度，并调用HuoZhui(a[i],b[j],L[i],k2)来实现，其中k2>L[j];通过循环调用即可找到b[30][30]中的所有尾随后缀，最后再将他们分别存放在b[30][30]中；即通过for(i=0;i<n;i++){for(j=0;j<Q;j++){k2=strlen(b[j]);if(k2>L[i]){HuoZhui(a[i],b[j],L[i],k2);}}}6）在反复调用HuoZhui(a[i],a[j],L[i],L[j])函数中如果b[30][30]中有重复出现的，即尾随后缀相同的不用再次放入b[30][30]中。

： 六、实验器材（设备、元器件） 实验器材（设备、元器件）
PC 机一台，装有 VC++6.0 或其它 C 语言集成开发环境。
七、实验步骤及操作： 实验步骤及操作：
1）排序； 2）计算码长； 3）递归调用香农算法得到相应的码字。
八、实验数据及结果分析： 实验数据及结果分析：
s 2 s3 s4 s5 s6 s 7 s8 S s1 题目：已知信源： = ，给出其一个 P 0.20, 0.18, 0.17, 0.15, 0.15, 0.05, 0.05, 0.05 香农码，并求其平均码长和编码效率。
else k[i]=temp+1; } } void code(int *k,double *pa,string *str,int n) { for(int i=0;i<n;i++) { double s=pa[i]; for(int j=0;j<k[i];j++) { s=2*s; if(s>=1) { str[i]+="1"; s=s-1; } else str[i]+="0"; } } } void main() { int n; cout<<"信源符号个数 n= "; cin>>n; double *p=new double[n]; cout<<"信源符号的概率依次为（以回车表示概率的结束）: "; for(int i=0;i<n;i++) { cin>>p[i]; } bubble(p,n); double *pa=new double[n]; leijia(p,pa,n); int *k=new int[n]; length(p,k,n); string *str=new string[n]; code(k,pa,str,n); cout<<setw(10)<<"pa(i)"<<setw(10)<<"Pa(a,j)"<<setw(10)<<"Ki"<<setw(10)<<"码字"<<endl; for(i=0;i<n;i++) { cout<<setw(10)<<p[i]<<setw(10)<<pa[i]<<setw(10)<<k[i]<<setw(10)<<str[i]<<endl; } }

本科生实验报告实验课程信息论与编码学院名称管理科学学院专业名称信息与计算科学学生姓名章乾学生学号201207020114指导教师范安东实验地点6C402实验成绩二〇一四年十月二〇一四年十一月实验一离散信源信息量的计算（一）1 实验内容（1）熟悉利用srand()函数产生随机离散信源概率空间的方法；（2）计算随机离散信源的各种信息量：H(X)、H(XY)、H(Y)；2 数据结构与算法描述3 实验数据与实验结果（可用文字描述或贴图的方式进行说明）1）测试数据随机生成数据2）实验结果4 程序代码清单（可直接将可运行源代码粘贴在下面的方框中）实验二离散信源信息量的计算（二）1 实验内容（1）熟悉利用srand()函数产生随机离散信源概率空间的方法；（2）计算随机离散信源的各种信息量：H(X|Y)、H(Y|X)、I(X;Y)；2 数据结构与算法描述1）变量及函数的定义3 实验数据与实验结果（可用文字描述或贴图的方式进行说明）1）测试数据随机生成数据2）实验结果4 程序代码清单（可直接将可运行源代码粘贴在下面的方框中）实验三典型信道容量的计算1 实验内容（1）熟悉利用srand()函数产生随机离散信道概率空间的方法；（2）计算随机离散信道的信道容量；2 数据结构与算法描述1）变量及函数的定义3 实验数据与实验结果（可用文字描述或贴图的方式进行说明）1）测试数据0.6 0.2 0.20.5 0.3 0.22）实验结果4 程序代码清单（可直接将可运行源代码粘贴在下面的方框中）实验四香农编码1 实验内容（1）熟悉理解香农编码的过程（2）将给定的数据进行香农编码2 数据结构与算法描述3 实验数据与实验结果（可用文字描述或贴图的方式进行说明）1）测试数据0.25 0.25 0.2 0.15 0.1 0.052）实验结果4 程序代码清单（可直接将可运行源代码粘贴在下面的方框中）实验五 Huffman编码1 实验内容（1）熟悉理解Huffman编码的过程（2）将给定的数据进行Huffman编码2 数据结构与算法描述1）变量及函数的定义3 实验数据与实验结果（可用文字描述或贴图的方式进行说明）1）测试数据0.2 0.1 0.3 0.1 0.1 0.22）实验结果4 程序代码清单（可直接将可运行源代码粘贴在下面的方框中）实验六 循环冗余校验码1 实验内容（1）理解循环冗余校验的基本程序； （2）对给出的数据进行循环冗余校验；2 数据结构与算法描述1）变量及函数的定义3 实验数据与实验结果（可用文字描述或贴图的方式进行说明）1）测试数据信息码：321x x x +++ 生成码：431x x x +++2）实验结果4 程序代码清单（可直接将可运行源代码粘贴在下面的方框中）语。

最新《信息论基础》实验报告-实验1实验目的：1. 理解信息论的基本概念，包括信息熵、互信息和编码理论。

2. 通过实验掌握香农信息熵的计算方法。

3. 学习并实践简单的数据压缩技术。

实验内容：1. 数据集准备：选择一段英文文本作为实验数据集，统计各字符出现频率。

2. 信息熵计算：根据字符频率计算整个数据集的香农信息熵。

3. 编码设计：设计一种基于频率的霍夫曼编码方案，为数据集中的每个字符分配一个唯一的二进制编码。

4. 压缩与解压缩：使用设计的霍夫曼编码对原始文本进行压缩，并验证解压缩后能否恢复原始文本。

5. 性能评估：比较压缩前后的数据大小，计算压缩率，并分析压缩效果。

实验步骤：1. 从文本文件中读取数据，统计每个字符的出现次数。

2. 利用统计数据计算字符的相对频率，并转换为概率分布。

3. 应用香农公式计算整个数据集的熵值。

4. 根据字符频率构建霍夫曼树，并为每个字符生成编码。

5. 将原始文本转换为编码序列，并记录压缩后的数据大小。

6. 实现解压缩算法，将编码序列还原为原始文本。

7. 分析压缩前后的数据大小差异，并计算压缩率。

实验结果：1. 原始文本大小：[原始文本大小]2. 压缩后大小：[压缩后大小]3. 压缩率：[压缩率计算结果]4. 霍夫曼编码表：[字符与编码的对应表]实验讨论：- 分析影响压缩效果的因素，如字符集大小、字符频率分布等。

- 讨论在实际应用中，如何优化编码方案以提高压缩效率。

- 探讨信息论在数据压缩之外的其他应用领域。

实验结论：通过本次实验，我们成功地应用了信息论的基本原理，通过霍夫曼编码技术对文本数据进行了有效压缩。

实验结果表明，基于字符频率的霍夫曼编码能够显著减少数据的存储空间，验证了信息论在数据压缩领域的有效性和实用性。

信息论实验报告一实验一1、实验内容（1）英文信源由26个英文字母和1个空格组成，假定字符从中等概选取，那么一条100个字符的信息提供的信息量为多少？（2）若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。

2、设计思路及步骤I=log2P iH(X)=∑−P i log2Pii26个字母和一个空格，因等概选取可以先求得其中一个字符的信息量，通过扩展实现计算100个字符的信息量。

对于第二问，可以将字符分为三组，又因每组字符的概率相等，因此可以求出每组每一个字符的概率。

通过信息熵的定义可以求出结果。

3、程序代码及调试过程4、出现的问题及解决方法（1）没有看清题目要求，漏掉空格（2）是否可以将三组字符看作整体5、结果及说明通过实验结果可以看出100个字符的信息量，以及字符信源熵。

比较H2与H3可以看出，并不可以简单的将三组数据看作整体。

6、实验总结本实验通过计算多字符的信息量与分组信息熵，让我们加深了信息论中有关信息量与信息熵的概念与定义，同时也让我们熟悉了matlab的基本操作。

实验二1、实验内容绘制二进制信源熵函数曲线。

2、设计思路及步骤根据信源熵的定义以及公式计算出熵，通过matlab的矩阵运算计算出熵数组，然后通过plot函数画出图像。

3、程序代码及调试过程4、出现的问题及解决方法矩阵乘法出错，，需要使用matlab中的点乘5、结果及说明信源熵的图像为凸形曲线，熵在信源等概分布时取最大值，先增大再减小。

6、实验总结本实验通过对信源熵的作图让我们熟悉了matlab中图像生成函数，以及矩阵运算。

实验三，四1、实验内容求信源的熵和其二次、三次扩展信源的熵。

离散二维平稳信源的概率空间：求：(a)信源符号之间无依赖性时，信源X的信息熵H(X)；(b)信源符号有依赖性时的条件熵H(X2｜X1)；(c)联合熵H(X1X2)；(d)根据以上三者之间的关系，验证结果的正确性。

《信息论课程设计》实验报告题目 1：实现香农编码及计算其编码效率题目 2：实现有噪信道编码中的循环码院系（部）：计算机科学与技术学院专业及班级：信息与计算科学1301班姓名：唐诗韵学号： 1308060105 日期： 2016/01/10目录1. 课题描述 (1)2. 信源编码的相关介绍 (2)3. 香农编码（题目一） (3)3.1. 香农编码算法 (3)3.2. 香农编码特点 (4)4. 香农编码的C++程序实现 (4)4.1. 程序设计 (4)4.2. 运行结果 (6)5. 实现有噪信道中的循环码编码方法（题目二） (6)5.1. 循环码编码算法 (6)5.2. 循环码编码特点 (7)6. 循环码编码的C++程序实现 (7)6.1. 程序设计 (7)6.2. 运行结果 (9)7. 总结 (10)8. 参考文献 (11)1.课题描述信息论是一门理论和实践相结合的专业，因此相关题目都是来自于实践，同时具有上机练习的可操作性，此门科目是通信的基础。

香农1984年发表的一篇论文标志着信息论诞生，在他的论文中主要用概率来描述有效传输信息的问题，用概率给予了信息的定量描述方法，并提出了信源熵的概念，在现实生活中，人们经常把消息和信息分不清，认为消息就是信息，实则不是，消息是描述实物，而信息是定量描述一个消息所传输的信息量，通常用自信息量来描述一个消息所传达的信息量，它取值为此事件发生的概率的负对数，它表示一个事件发生之前此事件发生的不确定性大小，也表示一个事件发生后它所能提供的信息量，两个相互独立的消息所提供的信息量等于各自信息量之和。

此外，还可用互信息来描述信息的传达，为一个事件给出关于另一个事件的信息量，也表示事件y出现后信宿获得的关于x的信息量，互信息的引出，使信息的传递得到了定量的表示。

如果事件是以序列的形式表示的，及事件集，则用平均自信息量来表示信源所传递的信息，平均信息量表示信源的平均不确定性，比如抛掷一枚硬币的试验所包含的平均信息量。

return ISUDC; } /************************************************************************/ /* 该函数是用来对每个 pPostfix 和原码字序列进行比较, 如果重复了则在 pRetnBuf 中 /* 返回本身.并返回 1.否则如果没有得到新的后缀码的话返回 0 表示无重复*/ /* Stack 用来存储递归中产生的后缀码集合,这样确保每次得到的后缀码不会重复 /* 防止进去死循环 /************************************************************************/ int GetBacktraceSeq(const pCharVector& pCode,char* pPostfix,pCharVector& Stack,char** pRetnBuf) { char* iter1; for (int i = 0; i < pCode.size(); i++) { iter1 = pCode.at(i); int nRetn = IsPrefix(iter1,pPostfix); if (nRetn == ISSAME) { //第一次进来的话由于是码字序列内部的比较,所以 //肯定会遇到自己跟自己比较然后相等的情况,对该情况不允考虑 if(Stack.size() == 0) continue; *pRetnBuf = new char[strlen(pPostfix) + 1]; strcpy(*pRetnBuf,pPostfix); return 1; } if (ISPREFIX == nRetn) { //新得到的后缀码已经重复了,跳过对他的处理 if(PushBackUniqueValue(Stack,iter1) == false) continue; char* pTemp = NULL; //递归处理下一个后缀码 if(GetBacktraceSeq(pCode,pPostfix+strlen(iter1),Stack,&pTemp) == 0) { *pRetnBuf = NULL; Stack.pop_back(); continue; } Stack.pop_back(); //递归过程中遇到重复码字,算法应立即返回. //将自身和递归得到的后面的后缀码组合成一个歧义序列返回 char* pNewTraceSeq = new char[strlen(iter1) + strlen(pTemp) + 1]; pNewTraceSeq[0] = 0; strcat(pNewTraceSeq,iter1); strcat(pNewTraceSeq + strlen(iter1),pTemp); delete[] pTemp;

信息论与编码实验一实验报告学生姓名周群创指导教师张祖平学号 ********** 专业班级电子信息1101实验一关于信源熵的实验一、实验目的1. 掌握离散信源熵的原理和计算方法。

2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。

3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。

4. 掌握Excel 的绘图功能，使用Excel 绘制散点图、直方图。

二、实验原理1. 离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。

离散信源只能产生有限种符号。

随机事件的自信息量I（x i）为其对应的随机变量x i 出现概率对数的负值。

即：I（x i）= -log2 p(x i)随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量x i 出现概率的数学期望，即：H(X )=-∑p(x )I (x ) =-∑p(x ) log p(x )2. 二元信源的信息熵设信源符号集X={0，1}，每个符号发生的概率分别为p(0)=p，p(1)=q，p+ q=1，即信源的概率空间为则该二元信源的信源熵为：H(X) = - p log p –q log q = - p log p – (1- p) log (1- p)即：H (p) = - p log p – (1- p) log (1- p) 其中 0 ≤p ≤13. MATLAB 二维绘图用matlab 中的命令plot(x, y)就可以自动绘制出二维图来。

例1-2，在matlab 上绘制余弦曲线图，y = cos x，其中0 ≤x ≤2。

>>x=0:0.1:2*pi； %生成横坐标向量，使其为0，0.1，0.2，…，6.2>>y=cos(x)； %计算余弦向量>>plot(x,y) %绘制图形4. MATLAB 求解离散信源熵求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。

北京科技大学UNIVERSITY OF SCIENCE AND TECHNOLOGY BEIJING 信息论实验报告学院：计算机与通信工程学院一1.实验目的（1）进一步熟悉唯一可译码判决准则（2）掌握C语言字符串处理程序的设计和调试技术2.实验要求（1）已知：信源符号个数q、码字集合C（2）输入：任意的一个码。

码字个数和每个具体的码字在运行时从键盘输入（3）输出：判决（是唯一可译码/不是唯一可译码）3.实验代码#include<stdio.h>#include<string.h>#define MAX 100char c[MAX][MAX];char f[MAX][MAX];int N,sum=0;int flag;void patterson(char c[],char d[]){int i,j,k;for(i=0;;i++){if(c[i]=='\0'&&d[i]=='\0') //2字符串一样，就跳出break;if(c[i]=='\0') //若d比c长，将d的尾随后缀放入f中{for(j=i;d[j]!='\0';j++) f[sum][j-i]=d[j];f[sum][j-i]='\0';for(k=0;k<sum;k++){if(strcmp(f[sum],f[k])==0) /*看当前生成的尾随后缀在f集合中是否存在*/ {sum--;break;}}sum++;break;}if(d[i]=='\0') //c比d长，将c的尾随后缀放入f中{for(j=i;c[j]!='\0';j++) f[sum][j-i]=c[j];f[sum][j-i]='\0';for(k=0;k<sum;k++){if(strcmp(f[sum],f[k])==0) /*查看当前生成的尾随后缀在f集合中是否存在*/{sum--;break;}}sum++;break;}if(c[i]!=d[i])//字符不一样了也退出break;}}/*主函数*/main(){int i,j;printf("输入码字的个数:");scanf("%d",&N);while(N>100){printf("输入码字个数过大，请输入小于100的数\n");printf("请输入码字的个数:");scanf("%d",&N);}flag=0;printf("请分别输入码字，长度<100个字符）:\n");for(i=0;i<N;i++){scanf("%s",&c[i]);}for(i=0;i<N-1;i++)//判断如果码本身是否重复for(j=i+1;j<N;j++){if(strcmp(c[i],c[j])==0){flag=1;break;}}if(flag==1)//如果码本身有重复，就可以断定它不是唯一可译码{printf("这不是唯一可译码。