张宝林｜汉语中介语多模态语料库体态语标注研究

提  要：多模态语料库是目前汉语中介语语料库建设中的一个薄弱环节。体态语标注在多模态语料库建设中具有重要意义：可以揭示说话人言语交际的真实意图，体现二语学习者的汉语水平，有助于多模态话语分析的深入开展，也是考察与认识中外文化差异的一个重要视角。体态语标注应厘清标注对象边界，对具有辅助表意作用的表情和动作进行标注；其标注范围可以包括面部表情与动作、头部动作、上肢动作、下肢动作、全身动作等方面；应采取“偏误标注＋基础标注”的标注模式和人标机助的方式，设计简洁、易懂、便于检索的标记代码进行标注。

关键词：多模态语料库；汉语中介语；体态语；标注

一、引言

目前，汉语中介语语料库建设正处于蓬勃发展的阶段，呈现繁荣局面，是目前汉语二语教学研究的一个重要领域；已“成为语料库研究中的热点”（谭晓平，2014），也是目前正在酝酿与形成中的“语言资源学”的重要基础、组成部分和主要推动力之一。然而，语料库的发展并不平衡，笔语语料库数量多，规模大，可谓一枝独秀；口语语料库已受到较多关注，且有少量建设成果。多模态语料库则尚未得到足够的重视，目前能见到并可以检索使用的只有全球汉语中介语语料库的视频语料部分。之所以会出现这种状况，首先是因为“多模态语料库研究是语料库语言学中刚刚起步的一个分支”，“是一个较新的研究领域”（黄伟，2015），尚未得到广泛的关注与充分的发展；其次和口语语料（包括视频语料）的采集、转写、标注的繁难程度有关，例如“音视频语料在采集时对硬件设备、采集环境、数据格式等都有较高的要求。多模态语料在预处理、切分、多层次标注等环节须耗费大量人力，熟练的建库人员完成1小时的语料也须花费50—100小时”（刘剑、胡开宝，2015）。另外，多模态语料库研究和以往汉语教学研究，包括20世纪80年代中期以来的汉语中介语研究，都与“重书面语，轻口语”的传统密切相关。这导致了“在口笔语的实际使用和语料库建设与相关的应用研究之间，存在着十分严重的‘倒挂’现象”（张宝林，2017）。如此看来，不论是从语料库建设的角度看，还是从基于语料库的汉语教学与研究的角度看，重视口语库和多模态库的建设，加强这两类语料库的研究与建设，都是非常必要与迫切的。

关于口语和视频语料的采集和转写问题，学界多有讨论，意见基本统一。口语语料的采集主要是话题的多样性和语料的自然性问题；视频语料存在资源共享与语料采集对象的肖像权问题。语料转写这个难题，随着语音识别技术的不断进步和语音识别软件的逐步完善，已趋于解决。而汉语中介语视频语料的标注问题，特别是体态语的标注问题，相关专题研究几近于无，更缺乏切实可行的标注方案。本文结合全球汉语中介语语料库的视频语料标注实践，专门探讨视频语料标注中的体态语标注问题，以期深化对体态语标注的认识，推动汉语中介语多模态语料库的研究与建设。

二、体态语标注的价值

（一）体态语定义与研究范围

体态语指说话时伴随语言发生的表情和肢体动作，表情指喜、怒、哀、乐、悲、恐、惊等，肢体动作指头部动作、上肢动作、下肢动作、全身动作等。其含义与梁茂成（1994）所谓副语言中的非声特征（non-vocal features）略同，包括面部表情、视觉接触、体态、手势、谈话时双方的距离等。也包括顾曰国（2013）所说的“貌”，即体态特征的总和，其中典型的貌特征是脸部表情、眼神、神态。

梁茂成（1994）指出，狭义的副语言指的是超音段音位学中的韵律特征（prosodic features）（如语调、重音等）、突发性特征（spasmodic features）（如说话时的笑声、哭泣声等）以及次要发音（secondary articulations，如鼻化音等）。这些特征可以表明说话人的态度、社会地位及其他意义。笔者认为，“可以表明说话人的态度、社会地位及其他意义”的不仅是语音学特征，还包括非语音学特征。因此，本文的研究内容是广义的副语言现象。语调、重音、鼻化音等皆属语音学研究范畴，说话时的笑声、哭泣声，乃至咳嗽等同样带有声音属性，故应将其归入语音标注，在语音标注环节处理。而说话时伴随的表情与肢体动作固然也具有辅助表达语言内容的作用，但与声音无关，而是动作现象，因而将其与带有声音属性的标注内容区分开来，以体态语称之。如此看来，体态语概念的内涵与外延小于副语言，是副语言中不具备声学特征的那部分内容。

视频语料是带有图像信息的口语语料，对视频语料的标注目的和口语标注一样，是通过研究语料产出者的目的语口语使用情况，进而判定其目的语口语的综合运用能力和整体水平。因此，对视频语料的标注也应贯彻全面性原则，从词、短语、句、语篇、语体、辞格、语音等语言层面进行标注，并不仅仅是体态语标注。而在标注策略上采用分版标注，不论是对标注员和标注工作本身而言，还是对基于语料库的相关研究来说，都是比较方便的。全面标注和分版标注已在全球汉语中介语语料库的建设实践中加以运用，效果良好，具体做法详见该库，相关论述参见张宝林和崔希亮（2022）。本文专门探讨体态语层面的标注问题。

（二）标注价值

1. 有助于洞悉言者的真实意图

人们通过言语交际传情达意、沟通信息，但情意分“真情实意”和“虚情假意”，言语也有“言为心声”和“言不由衷”之别。人们在交谈时并不一定遵循“言思情貌整一原则”，“因种种原因往往是言思情貌相分离的，有些情况下甚至是对立的。在言思情貌整一的情况下，诠释说话人的用意是直接的。然而，当言思情貌整一原则被违背时，会引发很多言外之意，诠释说话人的用意就要相对复杂得多”（顾曰国，2013）。言语之善恶真假，体态语往往能透露端倪，使听者能够领悟言者话语的真实含义。例如，赞美之辞一般情况下都是善意的表达，因而会使人感到愉悦和感激之情。但如果表达赞美时说话人眼含戏谑或面带嘲讽，即非表达善意，听者也不可能闻之愉悦。对言者说话时的体态语进行准确的标注，可以揭示话语的真实用意，而不被话语的表面意思所惑。

2. 有助于了解学习者的汉语水平，恰当地组织教学

体态语能够表现学习者的汉语综合运用能力，有助于教师掌握学生的汉语水平，进而恰当地、有针对性地安排教学内容与进度，取得更好的教学效果。例如，学习者如果能够面带笑容，神态轻松地回答问题或参与讨论，即表明其已经掌握了前一阶段的学习内容，具备了相应的语言表达能力，可以开始学习下一阶段的内容。而如果学习者面无表情、木讷不语或旁视他处，只听不说，则有可能是跟不上教学进度，不能参与课堂教学活动，教师应放缓教学进度，重点关注该学习者的问题所在，帮助其解决问题。由此看来，经过视频语料标注的“多模态语料库能够作为教师反思教学、提升能力的数据基础，也能反映学生语言学习过程中语言使用的多个维度，具有很大的研究价值”（黄立鹤，2015）。

3. 有助于多模态话语分析的深入开展

朱永生（2007）指出，以往话语分析的理论和方法，基本上都是以语言为研究对象，即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系，忽视诸如图像、声音、颜色、动漫等其他意义表现形式。这就使得话语分析带有较大的局限性。20世纪90年代，西方兴起的多模态话语分析（multimodal discourse analysis）可以在很大程度上帮助人们克服这些局限性。而多模态语料库的建立正是多模态话语分析的研究内容之一，可以为多模态话语分析提供丰富的语料资源。体态语标注是对视频语料中动态图像表现形式的标注，有助于对话语进行全面而深入的分析。

4. 有助于认识中外文化差异

不同的语言能够体现不同民族的文化差异，不同民族的体态语也具备这样的功能。例如西方人伴随“嗯哼”的耸肩，尼泊尔人的“点头不算摇头算”，都具有不同的文化含义。这种具有不同文化含义的体态语是否会在第二语言的学习与使用中产生“体态语偏误”并进而影响言语交际？是否存在体态语的负迁移现象？这些都是值得考察与研究的问题，而对中介语的体态语标注则是有助于这种考察和研究的。

（本文发表于《国际中文教育（中英文）》2023年第3期，更多文章信息，请扫描下方二维码或复制链接到浏览器，移步知网下载）

网页链接：

https://kns.cnki.net/kcms2/article/abstract?v=XPgunsrkkyfhdV0XJr6Y4j2fZ9yaE6SWqNhGOuT5sPnSrRJEKFvM_D_NRJ85qzAuNEYa8K2htf9ODwRkzK_salrir1Lez_kBZs-U0LLMWb34h1NQGSm7Sw==&uniplatform=NZKPT

2023年第3期

关 于 我 们

·期刊简介

《国际中文教育（中英文）》（原名《国际汉语教育（中英文）》）是由中华人民共和国教育部主管、北京外国语大学主办，外语教学与研究出版社、北外中国语言文学学院、北外孔子学院工作处共同承办的学术刊物。国内统一连续出版物号为CN10-1718/H，国际标准连续出版物号为ISSN2096-9716。季刊，16 开，公开发行。英文名称为International Chinese Language Education。

《国际中文教育（中英文）》办刊宗旨为：坚持正确的办刊方向和舆论导向，报道国内外中文教育教学政策和现状，反映国际中文教育推广的优秀成果和经验，探索总结科学有效的师资培养模式和语言学习推广政策，打造国际中文教育交流平台，推动国际中文教育与传播事业。

本刊入选国家新闻出版署首批认定学术期刊，是世界汉语教学学会理事单位刊物、《中国学术期刊网络出版总库》收录期刊、《中国学术期刊综合评价数据库》来源期刊、《中国学术期刊影响因子年报》统计源期刊、《中国人文社会科学期刊AMI综合评价报告（2022年）》扩展期刊、《中文科技期刊数据库》收录期刊。

本刊诚邀业内专家、学者及相关人士赐稿，《国际中文教育（中英文）》编辑部衷心感谢您的支持！

·主要栏目

（请扫描上方二维码进入期刊官网投稿）

·联系方式

       ●电子邮箱：

       gjzwjy@fltrp.com  

       ●联系电话：

      （8610）88819623（赵老师） 

      （8610）88819269（安老师）

·期刊订购信息   

天猫旗舰店

单期购买。通过外研社天猫旗舰店购买当期以及过刊（请用手机淘宝、天猫app扫描二维码进入）。

订阅咨询电话：（8610）88819680

往期精选

编辑 | 赵青  安琪  

美术编辑 | 苏玲卉（实习）

原创稿件，转载请注明来自微信订阅号：外研社国际汉语

欢迎分享与转发

关注我们

微信公众号

教学资源网

教师发展课程

点击“阅读原文”访问期刊官网