第六章 多媒体技术及应用

1. 多媒体的基本概念

1.1. 媒体及多媒体的定义：

媒体：存储信息的实体（磁带、磁盘、光盘等）/ 信息表示和传播的载体（数字、文字、声音和图形等）

在多媒体计算机中，媒体指的是后者。

多媒体：将这些媒体信息在计算机内以数字形式来表示，并综合起来形成一种全新的媒体概念。

1.2. 多媒体基本元素：

文本 Text：各种文字（各种字体、大小、格式及色彩）

图形 Graph 和图像 Image（图形：点、线、面到三维空间的黑白或彩色的几何图形；图像：由称为像素（Pixel）的点构成的矩阵图，也称为位图（Bitmap））

视频 Video

音频 Audio （音乐，语音等）

动画 Animation：借助计算机生成的一系列连续运动的图画。

1.3. 多媒体的五种类型：

感觉媒体（直接作用于人的感官）

表示媒体（媒体的核心；语言编码、图像编码、文本编码等）

显示媒体（感觉媒体和用于通信的电信号之间转换的媒体；输入/输出；键盘/显示器）

存储媒体（光盘、硬盘、软盘和磁带）

传输媒体（通信信息传输载体；有线/无线；电缆，光纤/卫星，微波）

1.4. 多媒体技术及特性：

多媒体技术：利用计算机技术把多媒体信息综合一体化，使它们建立起逻辑联系，并能进行加工处理的技术。

特性：

多样性（文字、图形、图像等等）

集成性（各种存储信息的实体和多媒体设备的集成、承载信息的载体的集成）

交互性（人与人、人与机器、机器与机器）

数字化（各种媒体的信息都是以数字的形式进行存储和处理）

2. 多媒体信息处理的关键技术

2.1. 信息压缩技术：图像、视频、声音等数据的压缩和解压缩（多媒体核心技术之一）

2.2. 数据存储技术（存储音频、视频、图像等；硬盘、光盘、磁带等）

2.3. 多媒体专用芯片技术（固定功能等芯片和可编程等数字信号处理器）

2.4. 多媒体数据库技术（研究方向：多媒体数据模型；数据压缩和解压缩格式；多媒体数据管理及存取方法；用户接口）

2.5. 多媒体网络与通信技术（多媒体通信网技术、视频和音频信号的压缩/解压缩技术；多媒体信息的多路混合传输等技术）

2.6. 多媒体同步技术（同时处理文字、声音、图像等多媒体信息，各媒体都与时间有着或多或少的依从关系）

2.7. 超文本与超媒体技术

2.8. 虚拟现实技术（Virtual Reality，VR；利用计算机生成一种模拟环境；多感知性、临场感、交互性、自主性）

3. 多媒体技术的应用领域

3.1. 多媒体教学（PPT、视频）

3.2. 电子出版物（paper、essay、thesis and so on；教学类、文化类、数据库类、娱乐类）

3.3. 信息咨询服务（静态、动态资讯系统）

3.4. 多媒体网络应用（Internet、Video On Demand，VOD、远程教育、视频会议系统、网购）

4. 多媒体计算机系统

4.1. 多媒体计算机硬件系统：

五个层次：

多媒体应用系统运行平台（多媒体播放系统）

多媒体编辑与创作系统（多媒体制作平台和媒体制作工具软件

多媒体应用程序接口（MAPI）（为上层提供软件接口；给多媒体实现软件调用提供条件）

操作系统、多媒体设备驱动程序（控制驱动多媒体；输入/输出控制接口程序（I/O接口程序）

多媒体计算机主机（Multimedia PC MPC）、外围设备

第六章 多媒体技术及应用

4.2. 多媒体计算机软件系统：

多媒体驱动软件（设备初始化、设备打开、关闭、压缩解压、图像变换等）

支持多媒体等操作系统或操作环境（Windows）

多媒体数据准备软件（采集多媒体数据的软件——声音录制与编辑、图像扫描等）

多媒体编辑创作软件（AuthorWare、ToolBook、Flash、Visual Basic、Visual C++等）

多媒体应用软件（多媒体数据库、教育软件和娱乐软件）

5. 多媒体音频处理技术：

5.1. 概述：

音频：多媒体系统中使用最多的信息，声音携带信息量大，精细、准确。

5.2. 音频信号数字化：

声音的模拟信号——采样——量化——编码——声音的数字信号

采样和量化：通过模/数（A/D）转换器（以固定的频率去采样，即每个周期测量和量化信号一次）实现。

采样：将连续变化的模拟音频信号转换成计算机能处理的离散化数字信号的第一步。（每隔一定时间对模拟波形取一个幅度值，把时间上的连续信号变成时间上的离散信号。）

量化：将每个采样点得到的幅度值以数字的方式存储。（量化位数，即采样精度：表示存放采样点振幅值的二进制位数；在相同的采样频率下，量化位数越大，则采样精度越高，声音的质量也越好，信息存储量也相对越大。）

编码：将采样和量化后的数字数据以一定的格式记录下来。（常用编码方式：脉冲编码调制，Pulse Code Modulation，PCM；抗干扰能力强，失真小，传输特性稳定）

5.3. 数字音频技术指标：

数字音频的质量指标：采样频率、量化位数（采样精度）、声道数

声音（波）是有方向的，可以通过反射产生特殊的效果。声音到达左右两耳的相对时差和不同的方向会使人感觉不同的强度，因此会产生立体声的效果。

声道数：声音通道的个数。（单声道只记录和产生一个波形；双声道产生两个波形——立体声）

记录每秒存储声音容量的公式：

存储容量（字节数）=采样频率✖️采样精度✖️声道数➗8

5.4. 数字音频的文件格式：

WAV（.wav）文件：Microsoft公司采用的波形声音文件存储格式。（质量非常高，但是文件太大）

MIDI（.mid）文件：乐器数字接口，Musical Instrument Digital Interface，是数字音乐的国际标准。

MPEG-3（.mp3）文件：最流行的声音文件格式。（压缩率大，音质就相对差了）

RA（.ra）文件：Real Audio，网络的灵魂，强大的压缩比和极小的失真。（主要目标压缩比和容错性，其次音质）

CD（.cda）文件：记录的是小型音乐数据流，音质纯正，高保真；但是无法编辑，文件太大。

高保真程序：原声乐器演奏、MIDI、CD唱片、声卡上的MIDI。（MP3和RA则要看节目源采用的是MIDI、CD还是其他）

6. 多媒体图像与视频信息处理技术

6.1. 基本概念：

图形（Graphics）：指通过绘图软件绘制的由直线、圆、圆弧、任意曲线等图元组成的画面，以矢量图形文件格式存储。

图像（Images）：由扫描仪、数字照相机、摄像机等输入设备捕捉的真实场景画面产生的映像，数字化后以位图形式存储。

矢量图形与位图图像可转换，前者转换成后者，只要在保存图形时，将格式设置成位图图像的格式即可，反之要用专业软件。

6.2. 图像的数字化：

图像的数字化：将一幅真实的图像转变成计算机能够接受的数字形式。

图像（模拟量）——采样——量化——编码——数字化图像

6.3. 图形、图像文件的格式：

BMP（.bmp）文件：（Bitmap位图）与设备无关的图像文件格式；Windows常用；包含图像信息丰富，几乎不压缩；占内存

GIF（.gif）文件：（Graphics Interchange Format，图形交换格式）压缩比高、磁盘空间占用少；不能存储超过256色的图像；Internet上大量采用的彩色动画文件多用此格式。

JPEG（.jpg）文件：（Joint Photographic Experts Group，联合图像专家组）压缩比高；存储和显示速度慢；Most Popular —— 能处理超过256色的图像。

WMF（.wmf）文件：特殊的图元文件，属于矢量图形；Windows的剪贴画图像是以这种格式存储的。

6.4. 视频信息：

视频：由一系列静态图像按照一定的顺序排列组成的，每一幅画面称为帧（Frame）。

分类：模拟视频（早期的电视等视频信号的记录、存储和传输采用模拟信号）和数字视频（VCD、SVCD、DVD等）

模拟视频中，两种视频标准：NTSC制式（30帧/秒，525行/帧）；PAL制式（25帧/秒，625行/帧）— 我国使用。

6.5. 视频信息等数字化：

过程与处理音频相似：对单帧视频信号采样、量化、编码等，然后实现模数转换、彩色空间变换和编码压缩等（视频捕捉卡和相应软件）

数字化后，视频信号：数据量的大小为：帧数✖️每帧图像的数据量（分辨率为1280✖️1024像素的24位真彩色电视图像，按照每秒30帧计算，显示1分钟，需要：1280（行）✖️1024（列）✖️3（B）✖️30（帧/秒）✖️60（秒）约等于6.6GB。

由此可见，数据量的降低依靠于视频信息的压缩、降低帧数、缩小画面尺寸等实现。

6.6. 视频文件：

1）影像视频文件：

AVI（.avi）文件：（Audio-Video Interleaved，音频-视频交错）低成本、低分辨率的视频格式；数据量较大，要压缩。

MOV（.mov）文件：Apple公司开发使用的视频格式；可合成视频、音频、动画、静止图像等；数据量较大，要压缩。

MPG/MPEG（.ｍpg/.mpeg）文件：是按照MPEG标准压缩的全屏视频的标准文件。

DAT（.dat）文件：是VCD专用的格式，文件结构和MPEG文件格式基本相同。

2）流媒体文件：

RealMedia：包括RA（RealAudio）和RM（RealVideo Media）和RF（RealFlash）三种文件格式。（RealNetworks 公司）

QuickTime：QuickTime Movie的QT格式是（Apple公司）开发的一种音频、视频文件格式。

ASF：（Microsoft公司）的Windows Media的核心是ASF（Advanced Stream Format）。ASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。

6.7. 数据压缩技术：

数据压缩：是通过编码的技术来降低数据存储时所需的空间，当需要使用时，再进行解压缩。可分为有损压缩和无损压缩。

衡量压缩技术的重要指标：

压缩比：压缩前后所需要的信息存储之比（越大越好）

恢复效果：尽可能恢复到原始数据。

速度：压缩、解压缩的速度（解压缩速度要尽可能快）

开销：实现压缩的软、硬件开销（越小越好）

无损压缩：

利用数据统计冗余性进行压缩且通过解压缩完全恢复原始数据而不引起失真的一种压缩方法。（压缩比限制2：1到5：1）

有损压缩：

以牺牲某些信息为代价，换取较高的压缩比。（并不能完全恢复全部原始数据，但损失的数据不影响对原始数据的理解）

数据压缩的国际标准：

JPEG标准：适用于色调和多级灰度的静态图像，一般对单色和彩色图像压缩比通常为10：1和15：1；常用于CD-ROM、彩色图像传真和图文管理。

MPEG标准：不仅适用于运动图像，也适用于音频信息。（三部分：MPEG视频、MPEG音频、MPEG系统-视频音频同步）MPEG标准已指定了MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21等多种标准。                                                  MPEG-1：为有限带宽传输设计的，数据传输率为1～1.5Mb/s，平均压缩比为50：1；常用于VCD的压缩。                            MPEG-2：为高带宽传输设计的，数据传输率为4～10Mb/s，压缩比高达200：1；可支持播放高质量的数字式电视，DVD。 MPEG-4：是“甚低速率视听编码”标准，数据传输率小于64Kb/s；多用于移动多媒体通信，因特网，实时多媒体监控等。

H.261 视频通信编码标准：电视电话/会议等H.261编码标准，即P*64视频编码/解码标准；是一种关于视频和声音以64Kb/s等整数倍作为传输速率的双向传输标准。（H.261标准和MPEG相互不兼容，采用公共中间格式CIF和1/4CIF）

文件压缩和解压缩软件：WinRAR，WinZip等。。。。。。。。。。

7. 多媒体素材的制作：

7.1. 文字的制作：

文本文字：多使用字处理软件（写字板、Word等）通过录入、编辑排版后而生存。

图形文字：多需要使用绘图工具软件（画笔、Photoshop等）来生成。

7.2. 音频数据等制作：

Windows自带的工具——录音机用来录音。

Windows Media Player：收音机、视频播放机、CD播放机和信息数据库的集合体。

Adobe Audition：录制、混合、编辑和控制音频；创建音乐、录制和混合项目、制作广播点、整理音频或设计声音。

。。。。。。。。。。。（网上可以搜到很多、、、、）

7.3. 图像数据的制作：

图像数据的获取方法：

使用扫描仪扫描图像

绘图软件创建图像（CorelDRAW、Photoshop - need to learn、PhotoStyler等）

商品图像库中获取

使用摄像机录制

数字照相机

7.4.动画制作：

二维动画制作软件：Animator Pro、Flash等

三维动画制作软件：3d max等

8. 常用多媒体软件

8.1. 抓图软件：

屏幕复制：（全屏复制 PrintScreen和当前窗口复制 Alt+PrintScreen ——打开画图程序：编辑-粘贴）。

Snaglt抓图软件：直接按PrintScreen，然后抓的图直接进入SnagIt编辑区。

截图软件：太多了。。。。。个性化截图

8.2. 播放软件：

录音机：Windows系统附件。

Windows Media Player：多媒体播放器。

RealPlayer播放器

QQ影音/暴风影音/迅雷看看/优酷/爱奇艺/PPTV/腾讯视频等。

8.3. 电子阅读器：

Adobe Reader：阅读、编辑PDF文件。

iBook

简书

8.4. Photoshop图像处理软件：

采用开放式结构，能够外挂其他处理软件和图像输入/输出设备。

摄影者：处理图像和修饰照片等功能，快速合成各种景物，创作精美图片。

印刷业：扫描、修改图像、设计印刷品等功能，根据不同需要印刷到产品包装上。

广告设计：无限的创作发展空间。