SSCI期刊网络多模态话语研究

1引言

根据研究机构MiniwattsMarketingGroup(2018)的统计数据，2018年全球互联网用户数量已突破40亿，超过50%的世界人口在使用互联网;在北美和欧洲等发达国家和地区，互联网普及率已接近90%。网络技术的飞速发展深刻地改变了人类交际模式，传统线下交流逐渐向线上沟通转变(耿敬北等2016)。由于互联网载体的特殊性，基于网络的沟通亦呈现出特有的语言形态变化，单一的语言媒介逐渐被语言、图像、声音等综合构成的复杂媒介所取代(冯德正等2014)。由语言和非语言等多种表意资源构成的网络多模态话语成为当前人类话语实践的一种主要形式与主流趋势(Martin＆Tyner2012;Martinec2005)。网络多模态话语的迅速发展吸引了大批国际研究者关注。自20世纪初，研究者开始借鉴Kress＆vanLeeuwen(1996)的“视觉语法”、Norris(2004)的“多模态互动分析”等来探讨网络媒体话语、网络日常交际等多种形式的网络话语。近年来，国际网络多模态话语研究愈发呈现出蓬勃发展态势，不仅研究领域和范畴不断拓展，同时还开始融合传播学、认知心理学等学科的跨学科理论体系，在研究方法、分析工具等方面亦不断推陈出新。反观国内，虽然冯德正等(2015)、国防(2016)等学者不断强调研究网络多模态话语的重要性，但国内相关研究的总体发展水平与国外相比仍有较大差距。检索发现，近十五年间CSSCI期刊只发表了16篇网络多模态话语研究，其中实证研究只有9篇，且研究主题较为单一、研究方法仍存在局限。当今社会，互联网发展日新月异，网络话语作为新兴主流交际语体，多模态话语与传统媒体话语的共性、差异与特征值得引起国内外学术界的充分重视。本文拟对国际网络多模态话语研究进展进行梳理总结。研究将运用内容分析与定量统计法，对2004－2018年间国际SSCI期刊收录的网络多模态话语研究论文从发展现状、研究主题和研究方法三个层面进行系统分析，以求客观展现近十五年国际网络多模态话语研究现状与发展趋势，为国内相关研究提出相应研究启示。

2研究方法

本文选取SocialScienceCitationIndex(SSCI)期刊收录的网络多模态话语论文作为研究对象。在WebofScience数据库中，以“online+multimodal”等5个词组①为关键词对“主题”进行检索，检索时间区间为2004－2018年，检索语言为英语，检索类型为论文。同时，考虑网络多模态话语多以网络媒介为载体，相关研究已不局限于语言学领域，传播学界对相关问题也较为关注(冯德正等2014;Jovanovic＆vanLeeuwen2018)。因此，为保证研究样本的完整性，检索时将研究领域限定为语言学和传播学。以此标准检索共得到206篇预选论文。而后通过直接下载和文献传递两种方式获得文献全文，并逐一分析论文主要内容，剔除研究主题和内容不是网络多模态话语的文献(如只在论文题目、关键词或摘要中提及网络多模态话语，但未对相关内容进行实质性分析和讨论的论文)。最后，共获得158篇SSCI网络多模态话语样本文献。本文对样本文献的分析将从三个层面进行。首先，将采用全景视角，从发表时间和数量、发表期刊、作者情况和研究类型4个维度，展现近十五年国际网络多模态话语研究的发展现状;然后，将通过考察样本论文的研究主题，分析国际网络多模态话语研究的主要研究内容;最后，将分析重点聚焦于实证研究，通过分析研究视角、研究对象、研究方法和分析工具4个方面，展示国际网络多模态话语实证论文的研究现状及方法论概况。为详尽展现研究的发展变化趋势，分析将以五年为单位将样本文献划分为三个时间段(2004－2008年、2009－2013年、2014－2018年)，进而按照上述分析思路运用内容分析法对样本文献进行编码分析。编码人员为本文的两名作者。调研中，我们随机抽取15%的编码结果检验编码员间一致性，Krippendorff系数为093，表示编码有效，信度较高(Krippendorff2004)。

3发展现状

31发表时间和数量。本文首先统计158篇国际网络多模态话语样本文献在各年度的发表数量。结果显示(见下页图1)，相关研究发表数量总体上呈现波动性增长趋势，2013年以后增长势头尤为明显，发表篇数从2012年以前的8篇以下上升到2016年后的25篇以上。这一趋势反映出近十五年国际网络多模态话语研究的积极发展态势，说明相关研究在国际学界愈发广受关注。32发表期刊。表1列出样本文献在三个时间段内的主要发表期刊(发表数量≥3篇)。158篇网络多模态话语研究共发表于59本期刊，其中VisualCommunication、SocialSemiotics、ReCALL和JournalofPragmatics4本期刊的发表数量最多，均达到10篇或以上。同时，期刊的时间变化情况显示出两个趋势:第一，期刊范围不断扩大，期刊数量从2008年前的8本增长到2014年后的46本，LanguageTeaching等语言学权威期刊从2009年后开始陆续发表网络多模态话语研究;第二，核心期刊发表数量不断增多，VisualCommunication、SocialSemiotics等较为关注网络多模态话语研究的核心期刊发表数量都呈现逐年递增趋势，从期初的1篇左右增长到近期的9篇以上。网络多模态话语研究受国际主流语言学界的关注程度在不断提高。33主要作者。样本文献涉及的作者较多，下页图2列出了三个时间段内发表总量靠前(数量≥3篇)的9位作者的发表情况。9位学者都是从2009年以后才开始陆续发表网络多模态话语研究。其中，有三位学者发表数量最多，均超过5篇:KayLO’Halloran现供职于英国利物浦大学，主要关注多模态语篇分析研究;SabineTan和PeterWignell现供职于澳大利亚科廷大学，主要研究领域包括多模态语篇分析、多模态分析工具开发等②。其后，发表数量为4篇的三名学者:NicolasGuichon现供职于法国里昂第二大学，主要从事计算机辅助语言教学研究;JohnSKnox现供职于澳大利亚麦考瑞大学，主要从事多模态语篇分析和网络媒介话语分析研究;HelenCaple现于澳大利亚新南威尔士大学从事新闻话语分析、新闻话语符际关系研究③。最后，有三名学者发表数量为3篇:KevinHarvey现于英国诺丁汉大学从事多模态(批评)话语分析研究;MugeSatarCoen现供职于英国纽卡斯尔大学，主要从事计算机辅助语言教学研究;TheovanLeeuwen作为多模态研究领域的奠基人之一，现于南丹麦大学从事相关研究工作④。可见，澳大利亚与英国学者在当前网络多模态话语研究中取得比较突出的成绩，且相关学者的研究焦点主要集中在多模态话语分析、工具开发和计算机辅助语言教学研究。34研究类型。参考Dornyei(2007:16－17)对应用语言学研究类型的分类，我们将样本研究划分为实证研究与非实证研究两类。实证研究使用样本数据，并包含清楚的研究设计、数据收集和数据分析过程;而未使用样本数据也未清楚论述上述内容的研究均属于非实证研究。统计结果显示(下页图3)，158篇论文中非实证研究34篇(占比215%)，实证研究124篇(785%)。同时，实证研究数量和占比近年均呈上升趋势，数量从期初的5篇增长到近期的88篇，比例从期初六成增长到近期的八成以上。这一趋势反映出近十五年国际网络多模态话语研究质量不断提升，实证研究已成主流。

4研究主题

参考应用语言学研究权威期刊AppliedLinguistics⑤、多模态研究权威期刊VisualCommunication⑥以及Barton＆Lee(2013)分别对应用语言学、多模态话语以及网络话语研究主题的分类，我们对158篇样本文献的研究主题进行了统计分析。结果显示(下页表2)，近十五年国际网络多模态话语研究主要探讨了12个主题。其中，网络语言教学(38篇，241%)、网络语篇与语用分析(38篇，241%)和网络批评话语分析(28篇，177%)是最受关注的3个研究主题(共占658%)。另有超两成论文(253%)重点关注了网络身份构建(16篇，101%)、网络会话与互动分析(13篇，82%)、理论构建与研究方法(11篇，70%)3个主题。最后，还有少量研究探讨了话语分析软件开发利用(4篇，25%)、网络语言素养(3篇，19%)、网络词典学(2篇，13%)、网络翻译(1篇，06%)、网络多语言使用(1篇，06%)以及其它(6篇，38%)等6个主题。从三个不同时间区段看，研究主题近十五年的发展趋势呈现如下特点:第一，研究范围不断扩大，即研究主题从期初的6个增长到近期的12个，网络词典学(Liu2017)、网络翻译(Afli，Barrault＆Schwenk2016)、网络多语言使用(Aflietal2016)等话题从2009年后才逐渐受到研究者关注。第二，网络语篇与语用分析以及网络批评话语分析的研究数量和占比都呈现逐年上升趋势，成为近年的研究热点，这一发现基本验证了冉永平等(2019)的研究结果。相关研究探讨的话题也较为丰富:网络语篇与语用分析研究讨论了符际关系(Martinec2005)、转喻与隐喻(Tay2017)、语类分析(Zappavigna＆Zhao2017)、语步分析(Lam2013)等多方面的内容;网络批评话语分析研究考察了网络话语在政治(Ben-David＆Matamoros-Fernandez2016)、经济(Moran＆Lee2013)、文化(Hunt2015)等多个层面的社会意义构建。第三，2009年以后研究者开始重视话语分析软件的开发和利用。例如，Smith，Tan，Podlasov，＆O’Halloran(2011)论述了多模态研究者在网络环境下运用分析软件进行多模态研究的困难与挑战;Krause＆Zeldes(2016)和O’Halloran，Podlasov，Chua，＆Marissa(2012)分别介绍了新开发的多模态话语分析软件ANNIS3和TheMultimodalAnalysisSoftware，为研究者进行网络多模态话语分析提供了新的选择。总结上述发现，近十五年国际网络多模态话语研究不仅在数量上不断增多，在研究内容与范围上也在不断丰富与扩展，近年愈发重视对网络语篇构成及其社会意义构建进行深入剖析，并开始关注分析方法与工具的发展与创新。

5相关实证研究方法

下文将聚焦于124篇实证研究，从研究视角、研究对象、研究方法和分析工具四个维度考察国际网络多模态话语实证研究方法。51研究视角。Sanz(2013)以及张德禄和郭恩华(2013)总结多模态话语研究主要有三个研究视角:社会符号和系统功能学视角(Kress＆vanLeeuwen1996)、认知隐喻视角(Refaie2003)以及多模态互动分析视角(Norris2004)。对124篇实证论文的研究视角进行统计，结果显示(下页图4)近十五年国际网络多模态话语研究主要采用社会符号和系统功能学视角(78篇，629%)，其后依次为多模态互动分析视角(23篇，185%)、认知隐喻视角(15篇，121%)以及除上述三个视角以外的其它视角(10篇，81%)。研究视角在三个时期内的变化情况显示出近十五年国际网络多模态话语研究的两个主要发展趋势:第一，采用社会符号和系统功能学视角的研究数量和比例不断上升。一定程度上反映出社会符号和系统功能学视阈下的多模态理论在不断成熟完善，相关理论在网络多模态话语研究中的应用程度不断加深、应用范围不断扩大。近年还有学者将社会符号和系统功能学理论从传统的多模态语篇分析拓展到网络课堂教学等其它研究领域(Bezerner＆Kress2008;Coffin2013)。第二，近十年认知隐喻理论视角的网络多模态话语研究取得较快发展。认知视角的多模态隐喻理论发展是近年多模态研究的重要成果(冯德正等2014;冯德正等2011;Refaie2003)。2009年以后研究者开始将相关理论成果运用到如网络海报(Tay2017)、网络新闻(Catalano＆Waugh2013)等网络语篇的研究中。从上述发现可以看出，网络多模态话语研究基本传承了传统多模态话语研究的学科视角多样性，并十分重视吸收多模态研究的最新理论成果并将其应用到网络环境下的多模态语篇分析中。同时，还有网络多模态研究者开始关注不同研究视角之间的对话，尝试探讨诸如认知语言学和系统功能语言学等视角的融合(田笑语等2019)。其实，不同语言学科视角下的多模态研究相辅相成、互为补充，这是未来多模态话语以及网络多模态话语研究的发展方向(冯德正等2014;Sanz2013)。52研究对象。参考冯德正(2017)和O’Halloran(2004:1－5)对多模态话语研究对象的总结，本文将网络多模态话语研究对象划分为两类:1)网络媒介语篇，各类网络媒体承载的多模态话语;2)网络自然交际，主要包括网络课堂教学和网络日常互动。统计结果显示(表3)，124篇样本实证研究共考察了上述两大类共11种网络话语，研究对象以网络媒介语篇为主(85篇，685%)，网络自然交际为辅(44篇，355%)。其中，网络媒介语篇涉及的话语种类较多，其中网站话语(24篇，194%)、社交媒体话语(24篇，194%)和网络新闻话语(14篇，113%)三类占比最高，而后还有少量研究讨论博客话语(4篇，32%)、网络表情(4篇，32%)、网络论坛话语(4篇，32%)、网络广告话语(3篇，24%)、网络杂志话语(2篇，16%)以及其它话语(6篇，48%)六类话语。而网络自然交际以网络课堂教学为主(34篇，274%)，少量研究考察了网络日常互动(10篇，81%)。进一步考察三个时间区段研究对象的发展变化，有两个趋势引人关注:第一，近十五年国际网络多模态话语研究对象的范围在逐年扩大。研究对象从2008年以前的3种增加到了2014年以后的11种，博客话语(Luzon2018)、网络表情(Dancygier＆Vandelanotte2017)、网络论坛话语(Koteyko＆Hunt2016)等都成为近年新兴研究对象。第二，研究重心向网络媒介语篇倾斜，社交媒体话语尤其受到研究者关注。网络媒介语篇研究的数量从期初的2篇增长到近期的65篇，占比从开始的四成上升到当期的七成。其中，社交媒体话语研究从2008年以前的0篇增长到近期的22篇，2014年以后有近三成实证研究考察了社交媒体话语，Facebook(Koteyko＆Hunt2016)、Tumblr(Gursimse2016)等社交媒体平台都成为研究热点。上述变化从一个侧面反映出，伴随近年各类网络新媒体，尤其是社交媒体平台的崛起，国际网络多模态话语研究针对的对象范围与研究重点亦随之不断变化和调整。网络平台的快速兴起不仅促进了网络语篇的发展，也推动了网络交际的繁荣。然而，近年相关研究对网络自然交际、尤其是网络日常互动的讨论(占比81%)相比之下仍显不足，尚待研究者在未来研究中补充完善。53研究方法。借鉴冯德正(2017)和Jewitt，Bezemer＆O’Halloran(2016)对多模态研究方法的总结，依据研究对象的不同，我们对124篇相关实证论文采用的研究方法进行了统计分析。结果显示(表4)，近十五年国际网络多模态话语研究共使用了7种研究方法。其中，网络媒介语篇研究主要采用语篇分析方法(57篇，460%)，此外还有部分研究使用了多模态语料库方法(21篇，169%)。网络自然交际研究以观察录像为主(36篇，290%)，还有少量研究采用了访谈(7篇，56%)、问卷调查(4篇，32%)、心理实验(3篇，24%)和眼动实验(1篇，08%)等方法。考察研究方法的纵向时间变化情况，不难看出:近十五年国际网络多模态话语研究使用的研究方法种类在不断丰富，研究方法从期初的4种增加到近期的7种，语料库(Chik＆Vásquez2017)、访谈(Oakley，Pegrum，Xiong，Lim＆Yan2018)、眼动实验(Sivle＆Uppstad2018)等研究方法都从2009年后开始被研究者关注。其中，多模态语料库方法的发展势头尤为突出，研究数量从期初的0篇增长到近期的17篇，2014年以后有近两成研究使用了语料库方法。多模态语料库作为定量考察多模态话语特征的重要方法，能为传统定性描述性话语分析做出重要补充，成为近年国际多模态研究的一个重要发展趋势(Lam2013;刘剑2017)。但由于网络多模态话语的特殊性，以往研究大多只针对研究问题建立小型专门语料库，尚未见基于大型网络语料库的多模态研究。54分析工具。如上文所述，网络话语的复杂性及所涉庞大数据为网络多模态研究提出了新的挑战，因而研究者越来越重视分析工具的开发与使用(Krause＆Zeldes2016)。本研究中，共有27篇实证研究使用了分析软件(占比218%)，使用分析软件的研究数量从期初的0篇增长到近期的19篇，2009年以后每个时间段都有两成以上的研究使用了话语分析软件进行辅助研究(图5)。同时，研究使用的工具软件种类也较为丰富，包括ELAN、Atlas-ti、Nvivo、MaxQDA等16种软件⑦。表5将国际相关研究所用软件名称及使用频次列出，供国内研究者参考借鉴。

6研究结论与启示

61研究结论。本文以2004－2018年间SSCI期刊发表的158篇网络多模态话语研究为样本，运用内容分析与定量统计法，系统梳理了近十五年国际相关研究进展及发展趋势。研究结果表明:1)近十五年国际网络多模态话语研究总体呈现波动性增长趋势，2013年以后增长势头明显;研究发表于VisualCommunication等59本期刊，期刊发表范围不断扩大;KayLO’Halloran等9名学者发表数量较多，澳大利亚与英国是当前两个研究重镇;研究质量不断提升，实证研究是主流研究范式。2)研究主题方面，探讨了网络语言教学、网络语篇与语用分析、网络批评话语分析等12个主题;研究范围不断扩大，愈发重视考察网络语篇构成及其社会意义构建以及分析方法与工具的应用与创新。3)实证研究中，主要采用社会符号和系统功能学理论视角，近年认知隐喻视阈下的研究发展较快，并开始关注多学科视角的对话与融合;研究对象包括11种网络话语，以网络媒介语篇为主，网络自然交际为辅，研究对象范围不断扩大，研究重心向网络媒介语篇倾斜，近年尤为关注社交媒体话语;主要使用语篇分析、观察录像等7种研究方法，研究方法种类不断丰富，愈发重视多模态语料库方法;使用了包括ELAN等16种话语分析软件，使用工具软件的研究不断增多，成为近年一个重要发展趋势。当然，调研结果显示国际网络多模态话语研究也并非无懈可击。国际研究在研究理论视角的融合方面还待继续拓展，对网络自然交际尤其是网络日常互动的讨论仍待加强。62研究启示。总结近十五年国际网络多模态研究现状及发展趋势，不仅可为国内研究者掌握国际学术动态和争取国际发表提供参考，也可对国内研究拓展研究领域和提升研究水平有所启示。首先，网络多模态话语研究值得引起国内学者进一步关注与重视。在当前网络成为主要交际媒介的社会背景下，国际网络多模态话语研究愈发呈现出蓬勃发展态势，研究数量与研究质量都在稳步提升。相比之下，我国相关研究的总体发展水平与国际研究仍存在较大差距。上文提及，我国相关研究近十五年间无论发表总量及实证研究比例都比较低。这在很大程度上反映出国内学界对网络多模态话语研究的重视程度不足，对相关问题的讨论深度有限。伴随我国互联网的深入发展，网络多模态话语研究的重要意义将进一步凸显，相关研究值得引起国内学者及学界关注与重视。其次，国内网络多模态话语研究的主题范围和对象尚待拓展。国际网络多模态话语研究探讨的内容丰富，涉及网络语言教学、网络语篇与语用分析等12个研究主题。反观国内网络多模式话语研究主题仍较为局限。近七成国内相关研究探讨网络语言教学，其余研究主要讨论网络语篇与语用分析和批评话语分析，对国际网络多模态话语研究日益关注的其它9个研究主题则未有论及。此外，近年国内研究探讨的主题仍较集中，变化并不明显，这与国际研究范围不断扩大、研究内容不断丰富的发展趋势不符。在研究对象方面，国外网络多模态研究紧跟当前网络话语实践的发展趋势，对网站话语、社交媒体话语等11种网络话语做出探讨。而国内研究考察的对象范围还较有限，仍主要集中于网站话语、网络新闻等，对微信等已然兴起的其它网络社交媒介所承载的多模态话语尚未论及。国际相关研究对网络新媒体及社交媒体多模态话语的关注与探讨为国内研究拓展研究对象范围提供了参考。

未来国内研究可考虑在借鉴国际研究的基础上，充分考量我国网络话语的发展现实，适当扩大研究范畴，不断推动我国网络多模态话语研究的发展。最后，国内网络多模态话语研究方法还可完善。在研究视角方面，国际网络多模态话语研究不仅研究视角多样，还开始关注不同研究视角的对话与融合。然而正如程瑞兰等(2017)对国内多模态话语研究的调研结果所示，国内研究仍存在研究视角局限、对某一理论的应用过于集中、多学科适应性差等问题。未来国内研究可参考国际多模态领域的最新发展趋势，吸收最新研究成果，在不断夯实国内研究理论基础的前提下，逐步拓展和丰富国内研究的理论视角。在研究方法和分析工具方面，国外研究不仅所用方法多样，且较为重视研究方法与分析工具的不断创新。而国内研究在研究方法的使用与创新方面仍有很大提升空间，对多模态语料库、眼动实验等方法都未有涉及，使用工具软件的研究更不多见。如在研究方法与分析工具方面有所完善与拓展，将有效促进国内相关研究水平与国际研究接轨。伴随互联网技术的不断发展，网络对人类交际方式和语言习惯将产生更深远和持久的影响。网络多模态话语作为近年迅速兴起的一个研究领域，无论是在国际还是国内学界，均将有更广阔的发展前景。希望本文能抛砖引玉，引发更多国内学者对网络多模态话语研究的关注与思考。

作者:史兴松 徐文娟 单位:1.对外经济贸易大学 2.云南师范大学