音乐作品论文：透析音乐作品光衍音视频结合方式

本文作者：范翎

一、以视觉体验为先导，确立音频素材来源

《光衍》的创意之源来自于一组数字媒体专业的学生作业，该作业借助数码相机的视频拍摄功能，记录了光透过玻璃器皿底部的多棱造型以后所产生的衍射现象。这组视频具有极强的抽象性，通过影像的方式展现了极易在日常生活中被人们忽略的，然而又转瞬即逝的光的瑰丽之美，其所展现的微观视角下的视觉体验富于独特的表现意味。考虑到该组视频所具有的特质适合于结合电子音乐的各类手段进行互动式创作，因此，我们迅速成立了专门的创作团队，开始制定视频与音频的独立创作计划，就声音与画面各自可能实现的结果进行了深入的沟通与探讨，并开始计划如何将两种媒介合理并巧妙地融合。考虑到音视频素材的同源性问题，本作品采用玻璃器皿作为主要的音频创作来源，并加入了少量骨质瓷器皿的采样作为补充，音频素材的频率分布大多在中高频。从电子音乐的创作规律来看，之所以经常选用玻璃、金属、陶瓷等材质所发出的高频声音作为创作素材，一方面是由于这些声音素材具有丰富的能量储备，其潜在的声音表现扩展性较强，另一方面是因为在进行声音变形时，高频声音在进行向下拓展时声音的细腻程度较好，不易产生畸变。本作品前期通过大量实验确立可使用的声音素材的种类，集中对声音素材进行采集并做细致分类。在某些段落，特别是节奏性段落则需要进行实时演奏的录音。

二、以视频素材为参照，强调“交互性”的音频创作

《光衍》的音频创作基于Nuendo平台，声音的变形及处理主要通过GRMTOOLS和WAVES完成。在进行该作品的音频创作时，笔者以视频素材作为参照，首先对各种形态的视觉要素进行详细的分析，这些要素包括色彩、形状、空间布局、区域密度、图形矢量、运动矢量、事件节奏等等，然后确定与之对应的音频创作的素材与手段。这一创作手段与单纯的音频创作完全不同。一方面，音频的创作受到特定视频素材各要素的制约，但并不完全受其限制；另一方面，视频的各要素不断激发出音频创作的创意与灵感，引导着音频创作绵延不断的向前推进，甚至产生完全超出原本预想的特殊效果。通过这种方式创作的音频作品虽然在总体结构方面依然保持音乐作品所特有的，以时间为主轴的组织形态，但其各个局部的音响与相对应的视频具有紧密的联系，这种以交互与融合为目的的创作方式为后期视频部分的创作提供了良好的前提。以下为本作品创作过程中采用的部分视频与音频要素的对应情况：以上各对应原则贯穿作品始终，其目的在于通过多重音视频对应方式产生不同的多媒交互体验，力图形成除视频与音频自身构架以外的第三类结构体系，从而实现多维度、立体化的艺术表现方式。下面列举以上部分对应原则在作品中的应用实例。1．空间布局对应声场布局这一对应原则实为声画同步，在影视作品的音效创作中应用极为广泛，即将画面中各事件对应特定的音效，按照画面布局关系进行声场排布。作品中00：22－00：25在极左位置出现的碗口敲击声具有较长的释音时间，其对应的视频为左侧边蓝色光源向右衍射的画面。清晰的声场定位对应明确的光源位置，长时间的释音对应光衍射渐变的过程，此段落画面与声音具有高度的一致性。图1《光衍》00：22－00：25画面2．图形矢量①对应声场定位图形矢量是指［2］“由将我们的目光引导向一定方向的静止元素产生”的画面力量。通常情况下，矢量所指的方向由画面中存在的线条方向构成，而这种指向力与其他物理力量一样具有强度大小和方向性。作品中00：57－01：03画面为盛满水的玻璃器皿底部，尽管该画面中并不存在实际的线条，但指向屏幕右上方圆形底座的弧形面是由无数线条构成（见图例中红色线条标示），因此该画面具有显著的向右上方的矢量。对应此画面的声音为极右位置的具有较长释音时间的碗口敲击声，声场定位对应矢量方向，长时间的释音对应器皿中水的晃动。图2《光衍》00：58视频截图3．画面形态对应声音形态本文所涉及的画面形态指的是动态画面中所包含的事件的结构特性及其演变方式。我们将画面形态大致分为两种，一种是规则形态，另一种为不规则形态。规则画面形态对应协和、纯净而相对稳定的声音形态，如作品中00：37－00：41画面为虚焦的盛有红色液体的高脚玻璃杯，虚焦效果使得画面呈现出以圆形光斑为主的抽象形态，杯体作连续的规律性晃动，加上光斑的分布较为均匀，使整体画面呈现出规则而稳定的状态。此处对应的声音为逐渐淡出的敲击高脚玻璃杯杯口的尾音，声音纯净，音量呈线性减弱。71范翎：交融的合力不规则画面形态对应不协和、散乱而不稳定的声音形态，这一类声音可通过对声音采样进行变形后获得。如作品中00：51－00：54画面为光透过杯子底部而产生的不规则形态，此处对应的声音原型为两只玻璃碗之间快速摩擦而产生的类似剑出鞘的声音。通过GRMTOOLS中的Shuffling对声音进行粉碎和重组，从而获得了散乱的、不规则的甚至有些捉摸不定的混合形态声音，这一结果很好的贴合了与画面所展现的抽象而神秘的意境，其不可预知的无规律变化与画面中光的不规则变化相得益彰。又如作品中01：05－01：25，这是一个比较长的段落，此段落采用光衍射所产生的多种类型不规则形态的视频进行连接，与之前00：51－00：54的画面形态有些类似。考虑到视频的不规则形态可通过声音作为主线进行串联，此段视频画面采用了冰块放入水中融化并产生冰裂的声音与之对应，该声音为颗粒状不规则变化的持续音型，高频丰富，动态较小，适宜作为长线条的背景层使用，其不规则微变的特性很符合在形态上具有近似性的多段视频的串联。6《光衍》01：05－01：25画面通过不断分析与比对的过程，在音频创作基本定稿时，我们已初步确定了不同音乐段落可应对的视频素材，并对视频素材进行了详细的分类，并对可能由后期剪辑产生的一些计划外的特殊效果做出了一些预估，从而为后续的视频创作打下了坚实的基础。

三、以音乐构架为基准，强化音视频结合的综合表现力

在音乐结构方面，《光衍》共分为四个相对独立的段落，虽然除第四部分是第一部分的变化再现以外，各段落之间的差异较大，但由于音视频素材在来源方面的统一度较高，创作的手法也较为接近，因此，作品在结构上具备了较高的整体性。由于该作品试图将声音作为主要的表现载体，而视频主要用以加强声音的表现力，因此在视频创作方面，我们仅使用了最为基本的视频剪辑与组接手段，除叠化、调色和变速以外，并没有使用更多的视频特效功能，其目的在于力求通过“朴素”的视频创作手段完成深层次的内容表达，使受众能更多的关注于声音的表现。《光衍》的音频创作充分考虑到了与视频的对应性与一致性，并在此过程中将视频素材按照音乐的不同段落进行了细致的分类，因此，后期的视频创作就显得较为轻松了。我们需要解决的问题主要集中在节奏点的切合、综合艺术表现力的增强以及音视频的结构统一等方面。1．节奏点的切合在音乐的时间结构确定以后，视频剪辑的节奏点就只能由音频的节奏点来决定了。但是，音频创作的节奏点或基于“小节、拍、子拍”等音乐结构单位，或基于“分、秒、微秒”等时间单位，而视频非线性编辑软件都是基于“帧”，相对于“子拍”和“微妙”来说，这一单位显然大了许多，因此就存在音视频在节奏点上不能完美对应的问题。《光衍》所使用的视频素材统一为24帧／秒，而在实际创作中我们发现，这一数值不够精确，因此多数时间我们都踯躅于前一帧与后一帧的取舍之间。解决这一问题最直接的方式是采用更高的帧数进行拍摄，或者选择能以“分、秒、微秒”等时间单位作为基准的视频编辑软件。此外，尽管在音频创作过程中兼顾到了与视频在时间上的匹配问题，但是，音乐的时间结构有其自身发展的特殊要求，不可能完全按照已有的素材进行创作，因此，视频素材在时间长度上往往与音乐段落不相吻合。解决此类问题可以通过视频素材的紧缩与扩展功能来使长度相符。如果时间差异较大时，特别是视频的时间长度不足时，则可选用近似类型的视频加以补充，切不可过度拉伸视频素材的长度，否则会造成“断帧”现象。《光衍》的第三段落为速度恒定的节奏性段落，通过将不同音频素材复制拼贴，辅以拍打玻璃器皿各部位的实时演奏组成复杂的节奏型。为配合声音鲜明的节奏特性，视频部分采用不同素材进行拼接，通过快速的画面切换来实现视觉体验的高速变化，但其节奏速度与声音部分并不相同，其目的在于实现音频与视频的节奏差异化，将视频节奏作为独立的节奏层次，从而进一步强化作品的综合艺术表现。2．综合艺术表现力的增强音视频结合类电子音乐作品的表现力需要依靠音频与视频的综合作用方能得以实现，音视频之间力量的比值及其于横向时间轴上的分布状况将直接决定作品整体的艺术表现力。可以说，两股力量之间的关系是这一类作品的最为重要表现力结构层次，也是作品创作过程中需要解决的关键性问题。音视频表现力的共同作用是最为常见的，在这里列举两例。作品01：33－01：52为第一段落的最高潮，此处声音的高频部分采用相互连接的敲击玻璃碗口的声音切片，并作渐强处理，低频部分则为两只大口径高脚杯相互碰撞的声音采样，并使用GRMTOOLS中PitchAccum、Reson以及Delays三个效果器协同作用，通过音高聚积及共振产生一系列复杂变化。基于画面事件的体量与声压强度成正比的对应特性，为配合此处声音力量的快速增强，视频采用了整体画面快速放大的效果与之对应。声音与画面的联合作用使第一段落的结尾成为全曲的一大亮点，它同时也预示着作品后半部分音视频的合力将不断增强。对比手段适宜夸大情绪的起伏，体现作品的表现张力，进而使作品的整体发展富于推动力。而对于极强调动态起伏及张力的电子音乐来说，对比手段尤其重要。视觉艺术可通过色彩、亮度、空间布局、速度以及矢量等要素来实现动态对比，但实际上，最简单而极致的对比方式是“有”和“无”。为充分表现音乐在动态方面的落差，我们在作品中多次使用到了黑屏，如作品的00：20、00：29、00：55、01：32、04：43。需要指出的是，以上五次黑屏并不是作段落结构终止淡出所用，而全部是与大动态声音表现相对应，用以最大程度体现视频张力的。3．音视频结构的对比与统一由于《光衍》视频创作的原则是力图运用最基本的视频剪辑与组接手段完成内容表达，因此，在通过视频表现音乐的纵向结构方面主要采用了叠化方式。作品的第二段落是叠化手段使用最为集中的部分。此段落的音频主体是以手指匀速摩擦大口径高脚玻璃杯杯口而产生的具有固定音高的正弦波采样，将该采样复制并作音高、声像及混响等参数的线性变化，与原始采样相结合后形成具有复调意味的多线条结构，其目的在于试图营造出一种多层次持续化的线性微变效果。为增强该段落声音的结构支撑，在此基础上又加入了利用Shuffling、Reson制作的多种穿插式音效，使得声音的层次在某些时间点变得更为复杂。对应以上声音特性，该段落使用布局对称、结构稳定的圆形玻璃烟缸作为视频的主体，画面光的强度及色彩随时间的推进不断变化，伴随烟缸中盛有的水的轻微晃动所形成的不断变化的光的反射，同样形成了视觉的持续微变。在出现穿插式音效时，视频采用叠化效果与之对应，加入了多彩光斑、晃动的高脚杯以及玻璃杯滚动等素材与视频主体作交叉叠化，从而进一步丰富了视频的内容层次。在横向结构方面，视频也充分参照了音频部分的四段体结构，在时间轴上分为四个段落。作品第一段落与第四段落的音频结构关系为变化重复，因此其在视频素材的选择上近似度也较大，所使用的剪辑手法也较为接近，其目的在于通过视觉引导进一步加强首尾呼应的关系，加强作品的整体感与结构感，以体现声音部分尾部变化重复的结构特性。音视频结合类电子音乐作品结构的合理性一方面取决于音频与视频自身的表现特性及其之间的契合度，更大程度上取决于二者在横向结构方面对比与统一的逻辑关系，这一关系是此类作品所独具的，除音视频独立表现结构以外的第三层次结构，它在总体上决定了作品的整体布局，也将直接决定受众对作品整体结构的判断与体验，因此，这一层次结构是此类作品成败的关键。下图显示了《光衍》的音频与视频部分在时间轴上的能量分布比对的大致情况。从上图可见，作品第一段落强调了音视频的契合度，其能量表现的同步性与一致性较强。从第二段落开始，音视频能量分布开始出现异化，视频能量经常保持在某一水平线上，其仅有的几次变化承松散状分布，而音频能量变化的密集程度和动态范围逐渐变大，至第三段进入高潮，而视频在第三段开始时有一次突变，但其后由于视频切换节奏的一致性而使它又进入到能量相对稳定的阶段。进入第四段，音视频又回归到彼此契合的主题，与第一段形成呼应。此外，在作品的各个结构性支撑点上，特别是各段落开始与结束的部分，音频与视频往往通过合力的作用来强化作品的横向构架，其目的在于通过音视频合力强化作品的动态变化，使作品的结构特性更为清晰明朗。

四、总结

对于音视频结合类电子音乐作品而言，如何理清音频与视频之间的辩证关系是最为关键的成败要素，而音视频相关要素的对应方式又是各类关系建立的基石。从细节上看，需要预先设定音视频各要素对应的基本原则，并有效地将这些原则付诸实施；从整体上看，则需要妥善安排音视频力量的对比与统一，并在时间纬度上形成两种力量关系的合理分布，既要考虑其各自表现力的独立存在，又要考虑如何在合理的结构位置上形成合力，并为受众保留足够的心理完形②空间，团队合作对于此类作品的创作来说至关重要。在进行创作之前，需要团队各部门进行周密的前期设计，通过充分的沟通以了解彼此之间的创作方式与意图。在创作过程中，音视频创作部门既要相互参照，又要兼顾完全独立的创作，这样更容易产生计划之外的耦合性艺术效果，从而进一步丰富作品的艺术表现力层次。