多模态话语分析综合理论框架探索_张德禄

4.2 多模态话语形式之间的关系 在多模态话语研究中，发现不同媒体形 成的形式项目，并且研究它们体现意义的语 法规则是重要的研究课题，但还不是主要的 研究课题。最主要的研究课题是发现不同模 态的媒体之间是如何相互关联，共同实现讲 话者要表达的意义的。这就需要我们要认真 研究它们之间的关系。这也是最难研究清楚 的一个方面。
语言
布局
多 模
纯语言
声音 文字
态
话
动作(移动)
语
比拟
媒
表情
体
身体
面容
眼神
系
五官
统
手势
肢体
姿势
非语言
摇动 PPT
音响扩放
工具
网络
非身体
实验室 同声传译室
环境
图 1 多模态话语媒体系统
25
2009年1月 第6卷 第1期 （总第27期）
中国外语
F
L
C
Jan. 2009 Vol.6 No.1 (General Serial No.27)
3 多模态话语的媒体系统
3.1 语言媒体 从传统的语言学研究的角度讲，实现意 义传播的媒体形式主要有两种：声波传导的声 音符号和由笔等生成的书写符号。这两种媒体 是语言传播信息的主要媒介。但随着信息技术 的不断发展，其他技术开始用于语言信息的传 播，如计算机文字输入、计算机语音识别等， 但最后的传播媒体仍然是声音或者字符。 伴随语言的媒体形式对语言意义的传递起 到辅助、补充和强化的作用，包括音响、声音
非强化关系表示两种交际模态缺一不可， 互为补充的关系，特别是听觉和视觉的结合。 在非强化关系中，我们可以区分协调、联合和 交叉几种形式。在协调关系中，不同的模态共 同表达交际者的整体意义，缺乏任何一者将不 完整。例如，在播放录像画面时，同时播放声 音。图像和声音都是必需的，不然交际将难以 理解。这是一种典型的相互协调模式。在同一 种模态中，不同类型的媒体可以形成联合关 系，共同来体现意义。例如在录像这种多模态 话语形式中，与动画相匹配的声音与解说的声 音联合体现听觉所实现的意义。还有一种交叉 体现意义的现象，例如交际者可以在边工作、 边做事的同时，讲解他做的事情的经过和原 理、原因等，从而形成两种模态交叉体现整体 意义的现象。这样，非强化关系可以归结为协 调、联合和交叉。
在话语分析理论如火如荼的发展中，人们 发现单纯从语言的角度已经不能对话语进行深入 全面的分析和研究，因为话语的意义中的一大部 分是由非语言因素体现的，如伴语言特征：音响 度、声调、语调、音速等，身体特征：手势、身 势、面部表情、动作、移动等，非身体特征： PPT、音响设备、网络、实验室、周围的环境因 素等。在这种情况下，交际不再是利用一种感官 进行，如说话是听觉，书写是视觉，盲文是触觉 等，而是用两种或者多种感官同时进行，如用 PPT上课则是视觉与听觉同时进行的；模拟与讲 解则是听觉、视觉和触觉同时进行的。以这种交 际方式产生的话语就是多模态话语。
到了现代语言学研究中，人们才开始从非语言 特征和伴随语言特征的角度研究它，不过只作 为一种语言的辅助表达系统，没有作为意义表 达模态来研究。随着多媒体话语的产生，人们 直到最近几年才逐步认识到其重要性，将其作 为一个独立的学术领域进行研究。
在多模态话语分析方面最早的研究者之一 是R. Barthes，他在1977年发表的论文《图像的 修辞》( Rhetoric of the image)中探讨了图像在 表达意义上与语言的相互作用；Kress, G. & van Leeuwen, T. (1996; 2001; 2003)研究了模态与媒 体的关系，专门探讨了多模态现象规则地表达意 义的现象，包括视觉图像、颜色语法以及报纸的 版面设计和不同媒介的作用等；O’Halloran, K. L. (2004)不仅研究多模态的理论建构，还专门研究 了数学语篇中的多模态现象；Royce, T. (2002)研 究了不同符号在多模态话语中的互补性以及在第 二语言课堂教学中多模态的协同性等。
多模态话语分析综合理论框架探索
张德禄 中国海洋大学
摘 要： 本文旨在探讨如何为多模态话语分析建立一个理论框架，首先对多模态话语研 究动态进行了简单述评，然后根据系统功能语言学理论尝试建立一个多模态话 语分析的综合框架。这个框架主要由五个层面的系统及其次级范畴组成，分别 是：(1)文化层面；(2)语境层面；(3)意义层面；(4)形式层面和(5)媒体层面，同时 还探讨了各个模态之间的关系，分为互补性的和非互补性的两大类，最后探讨 了非语言模态的语法结构的建立、语法结构与语篇结构之间的关系以及语法结 构是如何体现概念意义、人际意义和谋篇意义的。
分为三个类别：
(1) 与头部有关的动作，包括眼神、挤眼、
凝视、摇头、点头、仰头、低头、欢喜的表
情、伤心的表情、嫉恨的表情、凝重的表情、
大笑、龇牙咧嘴以及鼻子和耳朵的动作形成的
媒体符号等。
(2) 由手臂和腿形成的媒体符号，包括手
势，手臂的状态、形成的形状、摇动等，腿的
并立、踢跳、弯Байду номын сангаас等。
(3) 躯干的动作，如姿势、移动、摇摆、模
(5) 媒体层面，是话语最终在物质世界表现 的物质形式，包括语言的和非语言的两大类。 语言的包括纯语言的和伴语言的两类；非语言 的包括身体性的和非身体性的两类。身体性的 包括面部表情、手势、身势和动作等因素；非 身体性的包括工具性的，如PPT、实验室、网 络平台、实物(投影)、音响、同声传译室等。
下面我们按照从下到上的顺序分别进行探 讨，即首先探讨媒体层面可以实现意义的媒体 形式，然后探讨在形式层面可以实现的意义的 模态及其之间的关系，接着探讨多模态话语分 析的综合框架，最后初步探讨多模态话语语法 系统的特点。
(1) 文化层面，包括作为文化的主要存在形 式的意识形态和作为话语模式的选择潜势的体 裁或者称体裁结构潜势。
(2) 语境层面，包括由话语范围、话语基调 和话语方式组成的语境构型。
(3) 意义层面，包括由几个部分组成的话语 意义及概念意义、人际意义和谋篇意义。
(4) 形式层面，实现意义的不同形式系统， 包括语言的词汇语法系统，视觉性的表意形体 和视觉语法系统，听觉性的表意形体和听觉语 法系统，触觉性的表意形体和触觉语法系统等 以及各个模态的语法之间的关系，分为互补性 的和非互补性的两大类。互补性包括强化和非 强化两类；非互补包括内包、交叠、增减、情 景交互。
国内多模态话语的研究还处在起始阶段， 尚未见到专著出版，只有数量不多的论文， 其中胡壮麟的“社会符号学研究中的多模态化” (2007)讨论了多模态符号学和多媒体符号学的 区别，介绍了具有媒体和模态双重特性的计算 符号学，并指出人类进入社会符号学多模态化 的新世纪，对多模态识读能力的培养应引起重 视。其他研究包括李战子(2003)用系统功能语 言学理论对多模态话语理论的研究。
24
Jan. 2009 Vol.6 No.1 (General Serial No.27)
C
L
F
2 多模态话语分析的理论基础
多模态话语的最合适的理论模式是系统功 能语言学理论，因为它不需要为适应新的目的 而对理论框架本身进行改造。虽然多模态话语 分析似乎扩大了它的研究范围，但系统功能语 言学理论本身不需要做任何改动就可以直接作 为其理论框架。这个框架主要由五个层面的系 统组成(Martin, 1992)。这五个层面分别是：
然而，如何在话语分析中把多种媒体和多 种模态结合起来进行分析解读是现代语言学研 究，特别是话语分析研究应该特别注意解决的 问题。本文首先对多模态话语研究动态进行了 简单述评，然后根据系统功能语言学理论尝试 建立一个多模态话语分析的综合框架。
多模态话语指运用听觉、视觉、触觉等多 种感觉，通过语言、图像、声音、动作等多种 手段和符号资源进行交际的现象。这种现象司 空见惯，自古有之，如诗歌配上图画，说话时 打手势做鬼脸，使用不同口气和腔调等。但话 语的多模态性一直没有受到人们的重视，只是
26
在探讨多模态话语形式之间的关系时，我 们需要首先考虑一个问题：为什么人类在交际 中会用多模态？是为了有趣，是随意的，是生 理和心理的自然表现的结果，还是因为一种模 态不能，或者不能充分表达交际者的意义？可 能两种情况都有，但最主要的应该是后者，即 一种模态不足以表达清楚交际者的意义，从而 利用另一者来进行强化、补充、调节、协同， 达到更加充分，或者尽量充分表达意义，让听 话者理解话语的目的。
主题词： 多模态；话语；框架；语法；关系
中图分类号：H0-06
文献标识码：A
文章编号：1672-9382(2009) 01-0024-07
1 引言
作者简介：张德 禄，中国海洋大 学外国语学院教 授、博士生导师。 研究方向：系统 功能语言学、文 体学、符号学、 语篇分析和外语 教学等。E-mail: dlzh@hotmail. com; dlzhang@ 。
从这个角度讲，不同模态的话语实际上都 是为了体现讲话者的整体意义的。典型的多模 态话语模式是一种模态的话语不能充分表达其 意义，或者无法表达其全部意义，需要借助另 一种来补充，我们把这种模态之间的关系称为 “互补关系”，而把其他的称为非互补关系。
在互补关系中，我们还需要区分强化关 系与非强化关系。所谓强化关系是说一种模 态是主要的交际形式，而另一种或者多种形 式是对它的强化。例如，如果语言是主要的 交际形式，那么手势、身势等交际形式就只 是起强化作用。反之，在主要以其他方式， 如图画、舞蹈为交际形式时，语言可能只是 辅助的、起强化作用的。在强化关系中，一 种模态的形式只提供背景信息。如在话剧 中，图形幕景提供背景信息，而声音语言话 语则是前景化的，从而使讲的话语突出出 来。在讲话时打手势则是一种辅助手段，所 以是次要模态。而在播放布什的讲话时同时 播放他在某些重大事件中的一些录像片段是 对声音表达的意义的扩充。所以强化关系可 以包括突出、主次和扩充三种关系。
拟等。
非肢体媒体主要包括工具和环境两个方
面。随着现代科学技术的发展，交际者肢体以
外的交际媒体变得十分发达。从起初的音响设
备到现在的网络平台、同声传译室等都是工具
性媒体。除此之外，交际者还可以利用环境中
已有的任何相关因素来进行交际，包括现场环
境中的人和物、有象征意义的符号等(见图1)。
音响
伴语言*① 音调 字体
4 多模态话语的形式及其关系
4.1 多模态话语的形式 媒体本身只是意义传递的载体，本身并 不带有一定的意义，只有通过形式层面的组 织和模式化才具有直接表达意义的能力。形 式对媒介进行组织有两种手段：一是直接赋 予某个媒介符号某种意义，如在交通信号系 统中，红色表示“停止”，绿色表示“走”，橘红 色表示“准备走或停”。语言中的象声词有这 种特性。由这种符号组成的符号系统通常没 有能产性、任意性，由两个层次的代码组成 (媒介与意义)，所以其用途有限。另一种方法 是把一定的媒介符号进行组合，然后赋予这 种组合一定的意义，这就是语法的作用。由 这种符号和符号组成规则形成的符号系统具 有任意性、能产性、双分性，由三个层次的 代码组成(媒介、形式(词汇语法)和意义)。语 言属于这一类。是否其他的媒体符号也都有 这种特性，是需要进行探讨和分析的。鉴于 语言符号和其他符号具有替代性和互补性， 我们认为其他语言符号也具有形式层，只是 我们还没有认识，或者没有认识清楚而已。 所以在我们的分析框架中，语言和非语言的 媒体具有相似的词汇语法系统。 在词汇语法系统中，我们仍然区分本身 具有一个已经赋予意义的项目和把这些项目组 合为更复杂的结构体的规则系统。在语言中， 前者称为词汇，后者称为语法。由此，在其他 媒体中，我们可以区分：(1)图像形体和图像 语法，前者是本身可以实现一定意义的图像项 目，后者是不同项目组合后形成的图像结构 体，可体现一定的(更复杂的)意义。(2)声响形 体和声响语法，前者是本身可以实现一定意义 的声音项目，后者是不同项目组合后形成的声 音结构体，可体现一定的(更复杂的)意义。(3) 感触形体和感触语法，前者是本身可以实现一 定意义的可触形体项目，后者是不同项目组合 后形成的感触结构体，可体现一定的(更复杂 的)意义，以此类推。
的大小、音调、声音的频率、口音、语气以及 字体形状、大小、空间的布局等。这些伴随语 言的媒体特征对意义整体的表达起着十分重要 的作用，有时是关键作用，因为它可以引起整 体意义的改变。
3.2 非语言媒体
表达意义的非语言媒体包括交际者的身体
动作和交际者在意义表达中所使用的非语言手
段，如工具、环境等。交际者肢体的动作可以