数字媒体技术概述

数字媒体技术的发展
WWW 数字视音频
Future
1990
32位处理器 CD-ROM, LAN, WAN, 16位处理器 桌面PC
图形操作系统
1980
1970-an
8位处理器
数字媒体计算机演变的关键技术
计算、通信、内容、消费电子融合(4C)
BROADBAND/Wired and Wireless
Entertainment, E-Business, Services
哈夫曼编码(Huffman Coding)示例
输入： “ALOHA HAWAII” 频率： 4A, 2H, 2I, 1L, 1O, 1 space, 1W 96 bits (8 bits * 12 characters) to 32 bits:
情感<—语言<—文字<—bits (<<—自然化、可觉化)
文字信息为主的信息交流时代
什么是多媒体
●“多媒体”一词源自“Multimedia”
Medium (Latin medius) -a substance regarded as the means of transmission of a force or effect; a channel or system of communication, information, or entertainment (Merriam-Webster Dictionary ) medium的复数形式media 介质、媒介和媒体
例如：画图软件的颜色级别
为什么感知很重要？
失真评价的基础 http://www.libertarian.on.ca/images/Florida%20Recount.jpg
Step 3:编码与压缩
编码
用相应位数的二进制代码表示量化后的采样样本的量级。 如果有N个量化级为，那么对应的二进制位数就为log2N。当N＝ 16，二进制需要4位。 经过编码之后，每个样本都表示为相应的二进制代码。
传输
什么是多媒体：分类
最常见的分类方法是基于感觉
文本 图像 音频(语音) 视频
时间独立(离散)
文本、图形
音频、视频、语音、动画
感觉 (Perception)
展现 (Presentation)
表示 (Representation)

基于描述空间中时间维分类
时间依赖(连续)
+ As Authorized
Conditional Access/Cable, Satellite, Broadcast, Wireless
Services,Entertainment
1.2 数字媒体处理关键技术
18
媒体数字化
为什么要数字化？
数字化过程
媒体数字化关键技术
采样（Sampling）
Step 1: 采样与失真
通过某种频率的采样脉冲将模拟信息的值取出，变连续的模 拟信息为离散信号。 采样定理：采样频率>＝原始信号频率的2倍时， 采样信号才可以保真地恢复为原始信号。
Step 2:量化与失真
将采样样本的幅度按照量化级别决定其取值的过程。目的是 将采样样本的幅度值离散化。 量化之前需要规定量化级，比如8级，16级，256级等。 量化是一个对一的映射。
MOBILE MULTIMEDIA
Entertainment, Personal Pictures and Video, Services
MEDIA
Pre-Recorded Content Personal Media
Any Content+, Any Place, Any Device, Any Time
Multi (Latin multus) -many; much; multiple -多重、复合
1
● 多媒体定义
多媒体技术是利用计算机对文字、图像、图形、动画、音频、视 频等多种信息进行综合处理、建立逻辑关系和人机交互作用的产物。
2
3
4
多媒体的特性
多媒体强调的是使用多种媒体、综合表达信息 内容并进行交互式处理的技术。 从本质上来说，具有三种最重要的特性：
数字信息的最小单元就是比特，通过比特可以表述 各种媒体信息。
比特是信息的最小单元
比特没有颜色、尺寸和重量，它只是一种存在的状态：开 或关、真或假、高或低、黑或白，总之简记为0或1。 比特易于复制，而且复制的质量不会随复制数量的增加而 下降。 比特可以以极快的速度传播，而且在传播时不受时空的限 制。 比特可以用来表现文字、图像、动画、影视、语音及音乐 等信息
视/听觉冗余
视觉、听觉敏感度和非线性感觉
1011 1100 0101 1111 1010
知识冗余
凭借经验识别
数据压缩
数据压缩可分成两种类型
无损压缩 有损压缩
无损压缩
指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重 构后的数据与原来的数据完全相同 用于要求重构的信号与原始信号完全一致的场合。一个很 常见的例子是磁盘文件的压缩。
多媒体领域中的冗余分类
统计冗余
空间冗余——规则物体的物理相关性 时间冗余——视频与动画画面间以及音频帧 间的相关性
224色
1011 0001 1100
信息熵冗余
编码冗余——数据与携带的信息
结构冗余
纹理冗余——规则纹理、相互重叠的结构表 面
1011 0001 1100 28色 0101 1010 1010
2 xm ax r2
编码方式举例：哈夫曼编码(Huffman Coding)
Huffman编码属于信息熵编码的方法之一，是根据信源 符号出现概率的分布特性而进行的压缩编码。 也称为最佳编码，平均码长最短。 编码过程：
1. 初始化:将信源符号按频率递减顺序排列,输入L; 2. 重复如下操作直至L中只有1个结点: (a)从L中取得两个具有最低频率的结点，为它们创建一个父结 点； (b)将它们的频率和赋给父结点，并将其插入L; (c) 将树的左右孩子赋符号“0”和“1”，并从L中删除。
媒体的多样性，其中至少有一种连续媒体；
媒体的集成性（综合性），多种不同媒体综合地表 现某个内容，取得更好的效果；
处理的交互性，使人们获取和使用信息的过程中具 有细粒度的控制和操纵能力。
计算机与媒体
表示 采集 感觉
Input Device CPU Output Device
展现 感觉
表示 存储
数字媒体系统 多媒体
图像 文本 视频
媒体内容管理
分布式数字媒体系统
Authoring
Frameworks
网络
音频
语音
Tools Streaming video Virtual worlds Web pages Client-server Streaming audio
数字媒体技术的研究内容
核心关键技术
你的朋友，Helen，将于明天晚上6点零5分在上海的虹桥机场接你。 (23*2+10=56个半角字符) 你的朋友将于明天晚上 6点零5分在虹桥机场接你。 (20*2+3=43个半角字符） Helen将于明晚6点在虹桥接你。 (10*2+7=27个半角字符） 结论：只要接收端不会产生误解，就可以减少承载信息的数据量。
需要压缩
Fra Baidu bibliotek
数字悬崖：马赛克、画面暂停丢失
数字化过程
三步骤
采样（Sampling） 量化（Quantizing） 压缩（Compression）与编码（Coding）
analog signal sampled signal
Sampler
Quantizer & Coder digitized signal


多媒体与数字媒体
多媒体是混合的比特
多媒体（multimedia）：文本数据、声音、图像、动 画等的混合。
多媒体技术：能对多种载体（媒介）上的信息和多种 存储体（媒质）上的信息用计算机进行采集、存储、 编辑、显示、传播等综合处理的技术 多媒体信息：通过多媒体传播的信息。
多媒体系统：能够产生、存储、传播多媒体信息的系 统。
有损压缩
指使用压缩后的数据进行重构，重构后的数据与原来的数 据有所不同，但不影响人对原始资料表达的信息造成误解。 适用于重构信号不一定非要和原始信号完全相同的场合。
压缩策略
无损压缩(Lossless Compression)
哈夫曼编码(Huffman Coding) 自适应哈夫曼编码 Lempel-Ziv-Welch (LZW) 用于GIF JPEG-LS
压缩（Compression）
编码（Coding）
为什么要数字化？
模拟的问题：模拟失真，依赖载体 数字化的好处：
通用的存储和传输格式，数字化后处理更方便 适用于光盘存储和远距离传输 准确可靠，没有累计失真，可以无损传输和存储
数字化的问题
采样率失真，信息丢失 与模拟相比，需要很大的空间，例如35mm照片需要 420万像素，高清视频码率大于 1Gbps
扩展应用：
图形与动画技术：图形输入、图形建模、图形处理与输出、复杂物 体造型、表演动画等； 虚拟现实技术：动态虚拟环境建模、实时三维图形生成、立体显示 与传感器等。
什么是数字媒体
数字媒体
信息的表现形式是多种多样的，能够用计算机记录 和传播的信息媒体，无论是已经应用还是将要应用 的，其共同的一个重要特点就是信息的最小单元是 比特——“0”或“1”。
数字媒体处理技术
课程定位
2014-3-3
提纲
1.1 数字媒体的基本概念 1.2 数字媒体处理关键技术 1.3 数字媒体标准简介 1.4 数字媒体技术的应用
1.1 数字媒体的基本概念
4
计算机数字技术
计算机的社会角色
计算 信息交流 智能服务
信息交流(人类发展和人的成长/计算机发展) 情感—>语言—>文字—>bits (—>>简单化、精确化)
多媒体
Multimedia: 文本、图形、图像、视频和音频的组合形式， 使其内容更丰富，更便于交流。
数字媒体
Digital Media: 以数字化的形式存储、处理和传播信息的 媒体，以网络为主要传播载体，并具有多样性、互动性、 集成性等特点。
什么是数字媒体：A Big Picture
主观评价 ：平均意见得分（MOS）、五分制（优良中差劣） 客观评价：均方误差、加权均方误差、信噪比、峰值信噪比（图像）、 分段信噪比（音频）、似然比、谱失真测度
x2 S N R ( d B ) 1 0 lo g 10 2 r
PS N R ( d B ) 1 0 lo g 1 0
有损压缩(Lossy Compression)
JPEG H.261, MPEG-1, MPEG-2
无损+有损(Lossless and Lossy Together)
JPEG 2000
数据压缩的性能指标
衡量压缩算法的三个主要性能指标 （1）压缩比； （2）压缩质量（失真）； （3）压缩与解压缩的速度。 不能兼得时要综合考虑 压缩质量评价
数字媒体信息处理技术：视音频编码压缩、图像/视频内容分析、语 音识别等； 数字媒体传输技术：网络流媒体、P2P、无线多媒体传输等； 数字媒体内容管理技术：数字媒体数据库、基于内容的检索、数字 版权管理、数字信息保护、数字媒体集成分发等。
关联支持：
数字媒体信息获取与输出技术：图像/视频采集技术与设备、三维显 示技术与设备等； 数字媒体存储技术：海量分布存储等。
脉冲编码调制（PCM，Pulse Code Modulation）,完 成模拟信号的数字化
为什么需要数据压缩？
压缩编码的理论基本原理
从信息论的角度来看，压缩就是去掉信息中的冗余，即保留 不确定的信息，去除确定的信息(可推知的)，也就是用一种 更接近信息本质的描述来代替原有冗余的描述。
信息冗余的例子


基于描述空间中空间维分类
1D媒体


媒体分类标准
存储 (Storage) 传输 (Transmission) 信息交换 (Information Exchange)
单声道语音、音乐
双声道音乐、图像、二维图形 三维图形 , 全景图像 , 空间立体声音乐
2D媒体 3D及多维媒体
什么是数字媒体