混合双语语音识别的研究

声学模型
ＭｏｄｅｌⅣ
Ｍｏｄｅｌ卫 Ｍｏｄｅｌ．．ＭＥ ＭｏｄｅｌｊｒＣＭ７０
，Ｉｌ龆ｔＭ ２０．９
２５．２ ２１．５
ＰｈｒＥＲ（％） ７ｎ磐ｔＥ
４５．３ ４７．７ ４２．１
ｒＩｂｔＢ
１６．８ １４．５
可供检索的歌曲或歌手名列表由中文、英文或中英 混合短语构成。测试集由１０１７９句测试语音组成，其 中中文短语８１８３句，英文短语１６５０句，中英混合短 语３４６句。表２给出了中文、英文和中英混合测试短 语的典型例子．为了能真实反映出实际环境的不同 状况，这里的测试语音都是在实网环境下录制，涵盖 了多种背景噪音类型，包括饭店、街道、运动馆以及 其他噪声场所；除此以外，对于说话人口音、声音强 度以及流利度等方面，采集过程中也尽量保证其多 样性．
ｍｏｄｅｌ ｄｅｒｉｖｅｄ ｂｙ ｐｈｏｎｅ ｓｅｔ ｍｅｒｇｉｎｇ ａｎｄ ｃｌｕｓｔｅｒｉｎｇ ｉｓ ｄｅｖｅｌｏｐｅｄ．Ｉｎ ｏｕｒ ｓｔｕｄｙ，ａ ｎｏｖｅｌ Ｔｗｏ－ｐａｓｓ ｐｈｏｎｅ ｃｌｕｓｔｅｒｉｎｇ
ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ Ｃｏｎｆｕｓｉｏｎ Ｍａｔｒｉｘ（ＴＣＭ）ｉｓ ｐｒｅｓｅｎｔｅｄ ａｎｄ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅ ｌｏｇ－ｌｉｋｅｌｉｈｏｏｄ ｍｅａｓｕｒｅ ｍｅｔｈｏｄ．Ｉｎ ｏｒｄｅｒ ｔｏ ｄｅａｌ ｗｉｔｈ ｔｈｅ ｎｏｎｎａｔｉｖｅ ａｃｃｅｎｔｓ ｉｎ ｔｈｅ ｂｉｌｉｎｇｕａｌ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ．ａ ｎｏｖｅｌ ｂｉｌｉｎｇｕａｌ ｍｏｄｅｌ ｍｏｄｉｆｉｃａｔｉｏｎ ａｐｐｒｏａｃｈ ｉｓ ｐｒｅｓｅｎｔｅｄ ｔｏ ｉｍｐｒｏｖｅ ｎｏｎｎａｔｉｖｅ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ，ｃｏｎｓｉｄｅｒｉｎｇ ｔｈｅｓｅ ｇｒｅａｔ ｖａｒｉａｔｉｏｎｓ ｏｆ ａｃｃｅｎｔｅｄ ｐｒｏｎｕｎｃｉａｔｉｏｎｓ． Ｅｘｐｅｒｉｍｅｎｔｓ ｔｅｓｔｉｆｙ ｔｈａｔ ｗｉｔｈ ｔｈｅｓｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄｓ，ｔｈｅ Ｃｈｉｎｅｓｅ－Ｅｎｇｌｉｓｈ ｂｉｌｉｎｇｕａｌ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ ｃａｎ ｈａｎｄｌｅ ｔｈｅ ｂｉｌｉｎｇｕａｌ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｅｆｆｅｃｔｉｖｅｌｙ ａｎｄ ｅｆｆｉｃｉｅｎｔｌｙ．
随着信息全球化，中国与世界的交流日益紧密，
外国语（特别是英语）的使用也越来越频繁，人们在 交谈过程中插入英文词汇表达的现象日益普遍，这使 得中英双语的语音识别研究成为必需．在本文中，我 们致力于研究现实生活中双语识别系统的应用一中 英文歌曲检索（该系统应用于中国电信彩玲下载）． 我们的目标为设计一个中英双语识别系统，该系统 基于有限的自适应数据提高带有中文口音的英文语 音识别率，同时保证在中文语音上的识别性能。研究 过程中的创新部分主要有：（１）建立一个统一的双语 混合声学模型，使其能够处理中英文句间转换（ｍ－ ｔｅｒ—ｓｅｎｔｅｎｃｅ ｌａｎｇｕａｇｅ ｓｗｉｔｃｈｉｎｇ）和句内转换（ｉｎｔｒａ－ ｓｅｎｔｅｎｃｅ ｌａｎｇｕａｇｅ ｓｗｉｔｃｈｉｎｇ）；（２）提出一种新型基于 混淆矩阵的两遍（Ｔｗｏ－ｐａｓｓ）音素聚类算法（ＴＣＭ）； （３）提出一种新型的双语模型修正算法用于提高非母 语语音的识别性能。虽然该任务是特定研究域的，但 文章中采用的方法也同样能够运用于一般性的混合 识别任务。
事实上，非母语说话人的发音变异性是非常大 的【９１。他们可能在流利性，对目标语言的熟悉程度 以及对不熟悉发音的选择替代方面都有着差异。为 了建立较为鲁棒的非母语声学模型，训练过程中需 要包含尽可能多样的非母语语音数据。然而，获取如 此多样的训练数据是非常困难的，特别是那些口音 相对较重、发音相对较差的语音数据，因为通常情况 下非母语训练数据都是由一些对目标语言相对较熟 悉的说话人录制的．
Ｒｅｃｅｉｖｅｄ Ｆｅｂ．２，２０１０
Ｒｅｖｉｓｅｄ Ｆｅｂ．１１，２０１０
Ａｂｓｔｒａｃｔ Ｉｎ ｒｅｃｅｎｔ ｙｅａｒｓ，ｂｉｌｉｎｇｕａｌ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｂｅｃｏｍｅｓ ａ ｃｏｍｍｏｎ ｐｈｅｎｏｍｅｎｏｎ ａｓ ａ ｒｅｓｕｌｔ ｏｆ ｇｌｏｂａｌｉｚａｔｉｏｎ．Ｉｔ ｐｒｅｓｅｎｔｓ ａ ｎｅｗ ｃｈａｌｌｅｎｇｅ ｔｏ ｔｈｅ ｒｅａｌ ｗｏｒｌｄ ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ．Ｔｈｅ ｍａｉｎ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ
木 国家高技术研究发展计划（８６３计划，２００６ＡＡ０１０１０２）、国家科技支撑计划（２００８ＢＡｌ５０８００）、国家重点基础研究发展规划项目 计划（９７３计划，２００４ＣＢ３１８１０６）和国家自然科学基金（１０８７４２０３，６０８７５０１４，６０５３５０３０）资助项目．
万方数据
２期
张晴晴等：混合双语语音识别的研究
Ｒｅｓｅａｒｃｈ ｏｎ Ｃｈｉｎｅｓｅ－Ｅｎｇｌｉｓｈ ｂｉｌｉｎｇｕａｌ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ
ＺＨＡＮＧ Ｑｉｎｇｑｉｎｇ
ＰＡＮ Ｊｉｅｌｉｎ
ＹＡＮ Ｙｏｎｇｈｏｎｇ
（ＴｈｉｎｋｌＴ Ｓｐｅｅｃｈ Ｌａｂ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏ／Ｓｃｉｅｎｃｅｓ ＢｅＵｉｎｇ １００１９０）
１．１训练数据集 标准中文训练集采用国家８６３高科技计划提供
的数据集（ＤＢ８６３）。标准英文训练集采用ＬＤＣ提 供的ＷＳＪ数据集（Ｗａｌｌ Ｓｔｒｅｅｔ Ｊｏｕｒｎａｌ）．中文口 音的英文数据集在安静环境下自己录制（记为ＩＴ— Ｌａｂ（ＴｈｉｎｋｌＴ Ｌｉｂｒａｔｏｒｙ）），由６０男６０女的朗读语音 组成。这些说话人的英语水平大都在平均水平之上。 这些数据集都通过电话信道降采样到８ ｋＨｚ．表１给 出了关于这三个训练集的说明。
２７１
ｔｉｖｅ ｓｐｅａｋｅｒｓ）录制的标准发音单语种语句（ｍｏｎｏｌｉｎ－ ｇｕａｌ ｕｔｔｅｒａｎｃｅｓ）构成．虽然上述双语系统在这些标 准发音测试集上都体现出不错的性能，但在非母语 （ｎｏｎ－ｎａｔｉｖｅ）测试集上性能严重下降：在词错误率上 基本是母语语音识别词错误率的两到三倍【４】．双语 识别系统通常会面ｌ临这样一个问题：将原用语（ｍａ， ｔｒｉｘ ｌａｎｇｕａｇｅ）作为母语的使用者不可能再将插入语 （ｅｍｂｅｄｄｅｄ ｌａｎｇｕａｇｅ）（原用语定义为说话人使用的主 要语言或者说话时词语的主要来源语言，而其它语言 称之为插入语。（Ｍｙｅｒｓ－Ｓｃｏｔｔｏｎ’Ｓ Ｍａｔｒｉｘ Ｌａｎｇｕａｇｅ Ｆｒａｍｅ ｍｏｄｅｌ，１９９３ａ／１９９７）［５］）作为自己的母语。因 此，提高非母语发音的插入语识别性能是双语识别 系统可实用化的关键【６】．
１．２测试数据集
我们以歌曲检索为任务域进行研究。使用者通过 电话说出歌血名或者歌手名进行相应歌曲的检索，
万方数据
声
学
学
报
２０１０钜
训练集名称 ｎａｉｎＭ ＴｌａｉｎＥ ｎａｉｎＡ
表１训练数据集说明
类型 标准中文 标准英文 中文口音英文
来源 ＤＢ８６３ ＷＳＪ ＩＴＬａｔ）
时间（小时）
８６５ ４００ ２０
引言
随着现代社会信息的全球化，双语以及多语通 信成为越来越普遍的现象．这为语音识别技术带来
了新的挑战．目前，双语识别的研究工作取得了显 著进展．文献１和文献２分别描述了英德双语识别 以及斯洛文尼亚一克罗地亚双语识别系统。在文献３ 中，Ｓ Ｙｕ等研究了中英双语识别系统。这些研究的 共同点在于，实验测试集都是由相应母语说话人（ｎａ－
当前，说话人自适应技术（如ＭＡＰ、ＭＬＬＲ）已 广泛的应用于处理非母语语音识别中［６，１０１，通过基于 少量非母语语音数据进行自适应，母语发音声学模型 能够一定程度上逼近非母语的发音特点。在这些方法 中，自适应数据和测试数据的相似性是决定识别性能 好坏的关键因素。尽管他们在提高非母语语音识别性 能上都有贡献，但通过自适应以后的模型在非母语语 音识别中的性能相比母语语音模型在母语语音识别 的性能，仍然较低。文献１１研究了自适应算法的局 限性，指出导致非母语语音识别率低的主要原因来 自于说话人母语语系中无法涵盖的目标语言发音． 如何使声学模型对非母语发音变异更加鲁棒是双语 识别研究工作中的核心问题之一．
第３５第２期 ２０１０年３月
献给马大猷教授９５华诞
声学学报
ＡＣＴＡ ＡＣＵＳＴＩＣＡ
Ｖ０１．３５，Ｎｏ．２ Ｍａｒ．，２０１０
பைடு நூலகம்
混合双语语音识别的研究冰
张晴晴 潘接林 颜永红
（中国科学院声学研究所，中科信利语音实验室北京１００１９０） ２０１０年２月２日收到 ２０１０年２月１１日定稿
摘要 随着现代社会信息的全球化，双语以及多语混合的语言现象日趋普遍，随之而产生的双语或多语语音识别也成为语音 识别研究领域的热门课题．在双语混合语音识别中，主要面临的问题有两个－一是在保证双语识别率的前提下控制系统的复杂 度；二是有效处理插入语中原用语引起的非母语口音现象．为了解决双语混合现象以及减少统计建模所需的数据量，通过音 素混合聚类方法建立起一个统一的双语识别系统．在聚类算法中，提出了一种新型基于混淆矩阵的两遍音素聚类算法，并将 该方法与传统的基于声学似然度准则的聚类方法进行比较；针对双语语音中非母语语音识别性能较低的问题，提出一种新型 的双语模型修正算法用于提高非母语语音的识别性能．实验结果表明，通过上述方法建立起来的中英双语语音识别系统在有 效控制模型规模的同时，实现了同时对两种语言的识别，且在单语言语音和混合语言语音上的识别性能也能得到有效保证． ＰＡＣＳ数：４３．７１，４３．７２
文章结构安排如下：第一部分给出本文所涉及 到的训练以及测试数据集；第二部分对基线模型做 简要介绍；在第三部分里我们详细描述了双语识别 系统的构建，通过ＴＣＭ方法建立混合声学模型；第 四部分详细说明如何通过混合模型状态修正算法提 高基线声学模型的性能。第五部分给出结论．
１双语数据集
这部分简述了本文中所用到的数据集以及相 应的特征。训练数据分为三部分构成：标准中文数 据集、标准英文数据集以及中文口音的英文数据集 （Ｃｈｉｎｅｓｅ ａｃｃｅｎｔｅｄ Ｅｎｇｌｉｓｈ Ｃｏｒｐｕｓ）。数据都为电话信 道数据，８ ｋＨｚ采样，１６ Ｂｉｔｓ／Ｓ。语音提取特征为 ３６维的ＭＦＣＣ，由１２维ＭＦＣＣ以及它们的一阶二 阶差分组成。
测试集名称 Ｔｅ８ｔＭ ’ｒｂｔＥ ＴｂｔＢ
表２测试集组成以及相应的例句
语言 中文 英文 中英双语
测试数目（句）
８１８３ １６５０ ３４６
例子（歌曲名；歌手名） 在那遥远的地方张学友 Ｈｅｙ ｊｕｄｅ ｂａｃｋｓｔｒｅｅｔｂｏｙｓ Ｏｎｅ ｎｉｇｈｔ ｉｎ北京；阿ｂｅｎ
表３基线单语言声学模型以及双语声学模型在三个测试集上的识别率
ｈａｎｄｌｅ ｔｈｅ ｂｉｌｉｎｇｕａｌ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｆｏｒ ｒｅａｌ ｗｏｒｌｄ ａｐｐｌｉｃａｔｉｏｎ ａｒｅ ｆｏｃｕｓｅｄ ｏｎ ｔｗｏ ａｓｐｅｃｔｓ：ｔｈｅ ｆｉｒｓｔ ｉｓ ｔｏ ｂａｌａｎｃｅ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｎ ｉｎｔｅｒ－ａｎｄ ｉｎｔｒａ－ｓｅｎｔｅｎｔｉａｌ ｌａｎｇｕａｇｅ ｓｗｉｔｃｈｉｎｇ ａｎｄ ｔｏ ｒｅｄｕｃｅ ｔｈｅ ｃｏｍｐｌｅｘｉｔｙ ｏｆ ｔｈｅ ｂｉｌｉｎｇｕａｌ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ；ｔｈｅ ｓｅｃｏｎｄ ｉｓ ｔｏ ｅｆｆｅｃｔｉｖｅｌｙ ｄｅａｌ ｗｉｔｈ ｔｈｅ ｍａｔｒｉｘ ｌａｎｇｕａｇｅ ａｃｃｅｎｔｓ ｉｎ ｅｍｂｅｄｄｅｄ ｌａｎｇｕａｇｅ．Ｉｎ ｏｒｄｅｒ ｔｏ ｐｒｏｃｅｓｓ ｔｈｅ ｉｎｔｒａ－ｓｅｎｔｅｎｔｉａｌ ｌａｎｇｕａｇｅ ｓｗｉｔｃｈｉｎｇ ａｎｄ ｒｅｄｕｃｅ ｔｈｅ ａｍｏｕｎｔ ｏｆ ｄａｔａ ｒｅｑｕｉｒｅｄ ｔｏ ｒｏｂｕｓｔｌｙ ｅｓｔｉｍａｔｅ ｓｔａｔｉｓｔｉｃａｌ ｍｏｄｅｌｓ，ｉｎｓｔｅａｄ ｏｆ ｕｓｉｎｇ ｔｗｏ ｓｅｐａｒａｔｅ ｍｏｎｏｌｉｎｇｕ＿ａｌ ｍｏｄｅｌｓ ｆｏｒ ｅａｃｈ ｌａｎｇｕａｇｅ，ａ ｃｏｍｐａｃｔ ｓｉｎｇｌｅ ｓｅｔ ｏｆ ｂｉｌｉｎｇｕａｌ ａｃｏｕｓｔｉｃ
非母语语音识别的困难主要来自于训练数据和 测试数据的不一致：通常声学模型都是用母语发音 语音数据训练得到，这样得到的模型表征出母语发 音的特点．然而，测试数据中非母语说话人的发音和 训练数据中的母语发音是非常不一样的，其中的差 异导致了母语发音模型用于识别非母语测试数据时 性能急剧下降【７１。文献８得出结论，当训练过程中 包含了一定量的非母语发音数据，相应的非母语测 试性能将有较大幅度的提高。