手势交互技术在展示设计的应用

摘要:目前我国正处于文化消费激增阶段,文创产品如何更好的展示已经引起人们的思考。通过虚拟现实技术的介入增加对文创产品展示问题的思考,使用LeapMotion控制器作为手势输入接口,根据LeapMotion获取的手部几何数据,研究通过手势交互的方式,便捷地、高效地与文创产品设计中三维模型进行交互的方法。以创新技术方案改变文创艺术的展示方式,探索文创艺术设计应用的创新途径。

关键词:手势交互技术；虚拟文创产品；LeapMotion

1文化创意产品

文创就是文化创意,当今时代已经处于经济飞速发展的阶段,它已经不是单一的个体产业,而是经过多年的沉淀,发展称为一个超强综合体产业,因此也被称为文化创意产业。伴随着近年来的消费升级、居民生活的改善、人们对于娱乐休闲活动的追求也随之上升,从而使得我国的文化创意产业也进入快速发展的新时期。它依托文化或文化元素为母体,通过个人或者多人创意公开销售的一种形式,可以延伸到各行各业,包括影视、动画、游戏、公共建设、服装、广告、饮食,从而让人领略文化的魅力。根据数据显示,2020年全国规模以上文化及相关产业企业实现营业收入98514亿元,比2019年增长2.2%。然而传统文创产品生产到展示这种闭环过程必须经过策划—设计—定制—成品这一系列环节,但这往往需要消耗大量的时间、人力、物力成本,如何缩短这一过程的成本消耗一直是一个需要思考解决的问题。文创产品最终是为消费者服务的,把消费者作为文化创意设计的视觉中心,针对他们量身定做所需要的设计方法和创意,这样设计出来的创意作品必然会受到特别的青睐,造成足够的影响力和购买力,并且伴随科技手段的日益渗透,文创产品的体验感将更加吸引消费者的参与,实现“我”的自由取用,改进了传统的表现形式,使得文创产品的创作突破纬度的禁锢,从平面走向立体,从立体走向共感,全新的体验方式让文化创意产品改变过去的被动输入,主动输出才是为文化创作找到自己的全新的思路[1]。

2手势交互技术

如果提到手势交互必然离不开人机交互这一术语,通过计算机输入、输出设备,以有效的方式实现人与计算机对话,人与计算机之间使用某种对话语言,以一定的交互方式,为完成确定任务的人与计算机之间的信息交换过程。而手势交互技术则将手势作为对话语言的替代,跟踪人类手势、识别其表示和转换为语义上有意义的命令的整个过程,称之为手势交互识别。其研究旨在将设计和开发可以将用于设备控制的手势识别为输入并且通过将命令映射为输出的系统。一般而言,从手势交互信息采集的途径是有两种:接触式及非接触式的,因此可将手势交互系统划分为基于接触式的传感器和基于非接触类的传感器的两类。基于接触式传感器的手势识别通常基于使用多个传感器的数据手套、加速度计、多点触摸屏等技术。而基于非接触式传感器的手势识别通常基于使用光学传感、雷达探测等技术[2]。2013年2月,Leap体感控制器制造公司了面向PC电脑及苹果电脑MAC的体感控制器LeapMotion。它所倡导的三维空间交互与现今较为主流的虚拟现实技术可谓完美结合,利用双目立体视觉成像原理,通过两个摄像机来提取包括三维位置在内的信息进行手势的综合分析判断,这种应用于立体视觉的测量方法,被称为三角测量法。它是用于定位目标空间位置最常用和最基本的方法,如同人眼一样,能够对空间物体进行坐标定位,包括手指(及手持物)的运动、手掌的运动、手掌球(能够模拟手的弧面的一种球体,包含球心位置和球半径信息)三种。在LeapMotion控制器的双摄像头基线距离固定后,就可以进行设备校准。校准后的控制器可以精确计算出目标相对于摄像头的空间坐标。再通过已建立后的手部立体模型,能实现灵活而简便的抓取虚拟场景的物体,并通过相对运动生成平移、旋转和缩放信息[3-4]。

3虚拟文创产品展示中应用手势交互技术的实现

结合服务设计理论,引入手势交互技术能给文创产品展示领域带来一个以往不同创新的发展模式,通过使用LeapMotion控制器作为手势输入接口,根据LeapMo-tion获取的手部几何数据,研究通过手势交互的方式,便捷地、高效地与文创产品三维模型进行交互[5]。

3.1虚拟文创产品三维建模

虚拟文创产品展示平台最终还是要以文创产品展示作为输出,因此为了反映文创产品全貌,利用三维软件建模技术实现对文创产品再现。传统三维软件建模方法包含有第一、基本体建模,这也是最简单的建模方法,通过对内置的几何体的移动、旋转、缩放等操作,完成模型的建立。第二、二维线建模,通过调节二维线的顶点及线段的参数,可以生成较复杂的二维图形,再此基础上又可以生成三维模型。第三、多边形建模,可以说是最为复杂的建模方法,通过对顶点、边、面、多边形和元素编辑的方式对模型进行塑形,完成结构的创作,最终完成模型的建立。第四、网格建模,与多边形建模相似,也是一种基于子对象进行编辑的建模方法,包含顶点、边、面、多边形和元素5种,区别在与编辑的对象主要是三边面,而多边形建模往往是三边形、四边形或者更多边的面。第五、NURBS建模,是一种专门做曲面建模的方法,通过曲线的控制点调节曲线曲率、方向、长短等,再由这些曲线生成曲面,从而完成曲面造型及特殊造型。基本现在主流三维建模软件都采用以上建模方法。而虚拟文创产品则利用3DsMax软件来进行三维建模。3DsMax是Autodesk公司出品的世界顶级的三维软件之一,功能强大,自诞生之日开始,就深受使用者的喜爱,在模型塑造、场景渲染、动画及特效等方面都做出高品质的内容,在影视动画、虚拟现实、产品造型、游戏设计等多个领域中占据主导地位,在模型构建中,充分利用3DsMax所提供的建模方法,完成虚拟文创产品模型的建立,操作灵活,可控性强,视觉领域的表现力是十分突出,这也是虚拟产品造型的重点[6]。

3.2手势交互技术的引入

为了将文创产品三维建模进行实时展示同时进行同步手势交互,借助于Unity引擎仿真手模型,它拥有较高的精细度,并且自带动画,在此基础上借助LeapMotion控制器进行手部的控制。为什么会选择这种技术方案?主要原因如下:第一,LeapMotion控制器主要功能是识别高精度、低延迟的手指运动,通过使用LeapMotion控制器作为手势输入接口,根据LeapMotion获取的手部几何数据,研究通过手势交互的方式,便捷地、高效地与文创产品三维模型进行交互方法。通过操作确定了手势相关的特征数据,并且包含移动和旋转的手势数据,预估手势轮廓的位置,在此条件下对跟踪目标进行重定位,通过从LeapMotion控制器可以对模型进行平移、缩放、旋转等操作功能,同时为了避免模型和手势的不贴合,计算出对模型的变换量,并使用变换量对模型进行相应的变换功能。对其做相应的改进和重置,让模型更加贴合手势。第二,为了手势轮廓能,更好的完整的提取和分离,引用了混合卡尔曼滤波和粒子滤波方法对获取的手势数据进行处理与优化,作为基于视觉的手势识别系统的构建模块的大多数完整的手部交互机制包括三个基本阶段:检测,跟踪和识别。手的检测和相应图像区域的分割是手势识别系统的首要任务。这种分割至关重要,因为它将任务相关的数据与图像背景分离开来,然后再将其传递到后续跟踪和识别阶段。这些方法利用几种类型视觉特征的组合来检测手部。这些特征可以是手的肤色、形状和运动等。对于手势的跟踪则采取预测和重定位的形式,在以往的实验中证明,部分人采用光流法补帧这种算法进行跟踪,但由于其易受环境的影响,效果并不明显,因此采用基混合卡尔曼滤波和粒子滤波方法,能突破一定环境的局限性,具备可操作性和灵活性,达到对预估手势位置的准确性,实现基于运动轨迹信息的动态手指姿势的识别[7]。

4结语

传统文化创意作品演示过程通常先是设计者完成个人创作,然后作品被设计完成后运送到展示空间之中去。其创作的环境、材料、工具、形式,文化内涵表现都受到一定的限制,并且与设计者的初衷存在一定的差异,这可以称为传统展示设计方式所存在的局限性。而虚拟文创产品展示平台通过LeapMotion传感器获取的手部几何数据,研究通过手势交互技术能够便捷地、高效地与虚拟文创产品进行交互的方法。通过虚拟三维文创作品模型的展示改变浏览者的操作任务,将文创产品其他部分的运转状态显示出来,浏览者虽然不能直接接触到这些实物模型,但是通过交互技术就能知道这些关键产品的信息。手势交互技术的介入可以用于提供给设计者实时展示文化创意设计作品、提供给浏览者了解设计作品、提供给设计者和浏览者查看关联于文创作品的第一反馈信息以及提供给用户查看关联于其他文化创意作品的第二反馈信息。借助现代计算机和其强大的显示功能,用户可以清晰看到某物体的真实状态,建立起适当的心理模型,简化操作和理解过程。改变传统文创产品展示过程必须经过策划—设计—定制—成品单一闭环链条环节,将传统设计模式引入新型科技手段,两者融合是文化创意产业的一个新的趋势,是文创企业做大做强、传统产业改造提升,浏览者不再是被动观看作品的接受者,也可以作探索文创作品的主动者,所作出的行为能够影响到文化创意作品,使这些作品能够感受变化,从而产生更深刻地认识,凸显了人文价值。

参考文献

[1]任如彬,朱利丰,刘佳,等.基于LeapMotion的个体化手部建模与实时交互[J].测控技术,2020,39(2):74-79.

[2]张巧龙,李延平,阮径舟,等.基于LeapMotion手势控制的机器人设计与制作[J].电子世界,2019(11):139-140.

[3]陈畅,陈亮,周雪峰.基于自然手势交互的工业机器人示教系统设计与实现[J].制造业自动化,2018,40(2):21-25.

[4]李杨韬,禹东川,靳来鹏,等.基于LeapMotion手势识别的认知训练系统的设计和实现[J].电子设计工程,2016,24(9):12-14+18.

[5]朱毅,谭浩,赵江洪.大规模定制网络平台的交互设计研究[J].装饰,2014(3):102-103.

[6]朱惠娟,王军,朱俊.基于LeapMotion的沉浸式体感交互系统研究[J].微型电脑应用,2021,37(2):8-11.

[7]邓楚君.技能大师工作室下的文创产品传承创新设计人才培养研究[J].辽宁广播电视大学学报,2018(1):23-25.

作者：王媛 单位：武汉设计工程学院