基于主客观数据的汽车人机交互界面表面触觉反馈方法

摘要

针对汽车用户界面虚拟按钮缺乏触觉反馈或触觉反馈感受单一的问题，采集3种真实物理按钮（切换开关、自锁按钮、复位按钮）数据并提取按钮特征，基于手指按压力大小分段实现了不同的振动反馈。提出一种重现按钮顺应性的触觉渲染方法，根据用户主观感受，验证了其相比于顺应性错觉方法在顺应性、用户愉悦性等方面的提升。进行触觉反馈匹配实验，实验者根据触觉感受将3种虚拟按钮与物理按钮类型进行匹配，准确率高达94.33%，验证了提出的虚拟按钮振动触觉反馈对不同物理按钮独特感知特性恢复的有效性，用户可以在无视觉需求的情况下辨别操纵的虚拟按钮类型和状态。

关键词

汽车用户界面触觉; 表面触觉反馈; 虚拟按钮振动渲染; 顺应性错觉

随着汽车内饰智能化的发展，按钮等实体开关操控键逐步被光滑的触摸屏和触敏智能表面代替^［1］，然而大多数触摸屏和智能表面无法提供物理控件所固有的被动触觉反馈。智能座舱需要安全高效的交互界面，驾驶涉及较高的视觉工作量，音频在现实驾驶情况下可能会被环境背景音所掩盖，而触觉反馈可以通过皮肤向驾乘人员传递车辆信息，从而减轻驾驶时视觉和听觉的认知负荷^［2-3］。人类在复杂情况下的感知和判断并不依赖于单一的感官模态，多模式输入和输出模态日益丰富了车内用户交互，缺少触觉反馈的虚拟按钮可能会降低用户操作体验，增加驾驶员的分心和错误，从而影响驾驶的安全性^［4］。

汽车用户界面确认触觉是指改变控制元件操作状态的触觉反馈^［1］。针对确认触觉，Beruscha等^［5］和Pitts等^［6］的研究表明，点击虚拟按钮时的简单振动反馈显著减少了驾驶员视线离开道路的时间和主观感知工作量。赵秩男^［7］针对汽车用户界面虚拟旋钮，通过静电力触觉反馈实现了物理旋钮的“顿挫感”。绝大多数关于提供确认触觉的研究为基于移动设备的虚拟按键渲染，触觉感知可以分为滑动触觉和顺应性触觉。滑动触觉平行于手指接触面，反映虚拟物体的几何形状与纹理。材料表面对外部力的响应和变形能力被称为顺应性^［8］。顺应性触觉为垂直于手指接触面方向的动态感知，反映虚拟物体的柔性或刚度。Kildal^［9］采用短暂振动响应按压，使用户感知到按压弹性材料的顺应性错觉，该方法已被广泛应用于人机交互中。Kim等^［10］、李萌芽^［11］基于真实物理按键的力‒位移曲线，结合顺应性错觉方法设计了多阶段振动触觉信号。Sadia等^［12］采集真实物理按钮加速度数据，基于不同按钮驱动力进行振动加速度重现。De Pra等^［13］基于多种材料采集的加速度频域信息，渲染不同材料虚拟按钮按下和释放时衰减的振动触觉反馈。Wei等^［14］和Liu等^［15］基于主观评价进行虚拟按钮渲染，探究不同振动参数下渲染的虚拟按钮的感知深度和粗糙度等变化。

目前车辆用户界面虚拟按钮反馈只有简单的点击振动反馈，虚拟按钮的触觉渲染研究绝大部分是基于机械键盘按键，因此不适用于车内交互界面多种类按钮渲染。此外，现有研究只关注如何产生主观愉悦性的振动脉冲，或仅依靠客观数据进行触觉反馈再现，缺乏对主客观数据的综合考量，无法在保留真实按钮顺应性等情况下提供多种按钮特征的触觉反馈。本文基于真实物理按钮交互力学特性数据提取不同类型按钮特征，同时结合用户主观体验进行虚拟按钮的触觉渲染，并提出一种根据用户按压力导数进行幅值调制的渲染方法，在保留与物理按钮相似性的同时实现按钮的顺应性。最后，根据触觉感受将虚拟按钮与物理按钮进行匹配，以验证由此产生的触觉信号的真实性与有效性。

1 物理按钮数据采集与处理

1.1　测试系统

虚拟按钮的振动渲染设备可以响应触摸交互生成的振动触觉反馈，省去部分信号转换传输模块和连线，触觉反馈装置示意图如图1所示。触觉反馈测试系统总体可分为交互界面显示和触控传感模块、压力传感模块、压电电动机、电压放大器和计算机端（PC端），各模块信号传输路线如图2所示。将电容屏（型号为TJC3232T139_011C_F）作为实现交互界面的显示，同时作为交互界面显示和触控传感模块定位手指的触控位置。将称重传感器作为压力传感器，从而进行更直接和准确的测量。PC端包含一系列逻辑代码，通过通用串行总线（USB）串口接收从交互界面显示和触控传感模块输出的用户触控位置信息和从压力传感模块输出的手指压力大小，控制计算机声卡输出信号通过电压放大器来驱动压电电动机（型号为TDK‒1919H021V120），从而产生预期振动加速度。

图1  触觉反馈装置示意图

Fig.1  Schematic diagram of haptic feedback device

图2  触觉反馈试系统示意图

Fig.2  Schematic diagram of haptic feedback test system

1.2　物理按钮分类与数据采集

汽车上的按钮主要涉及功能的开关和调控，可分为维持按钮和瞬时按钮。涉及开关功能的按钮大多为维持按钮，按下后保持在开启状态，直到再次按下以解除锁定；调控按钮大部分为瞬时按钮，如调节收音机频道等用于输入数字的按钮，每次按下都会触发一次特定功能。如图3所示，选取切换开关（型号为KCD1‒105）、自锁按钮（型号为三山MS‒800A2PLC）、复位按钮（型号为PBS‒11）作为研究对象，涵盖维持和瞬时按钮类型。

图3  切换开关、自锁按钮、复位按钮实物图

Fig.3  Physical images of toggle switch, self-locking button, and reset button

采集按下真实物理按钮的力和加速度数据的实验装置示意图如图4所示。将压电加速度传感器（型号为DH131E）安装在被测按钮顶部，动态系统（型号为DH5922N）以1 kHz的速率记录按钮垂直加速度数据；被测按钮由热熔胶固定在力感应表面，手指压力大小的记录是由固定在力感应表面和固定底座之间的压力传感器实现，以80 Hz的采集速率记录手指的按压力数据。10名实验者参与了数据收集实验，其中包括男性8名，女性2名，年龄18~26岁，平均年龄23.1岁。实验者需用食指按压每个按钮10次，系统记录了手指按压力和按钮加速度变化。

图4  数据收集实验装置示意图

Fig.4  Illustration of experimental setup for data collection

1.3　数据处理与分析

对每组加速度数据进行10 Hz的高通滤波，以消除用户手指移动和加速度传感器零点漂移带来的影响^［12］，然后基于动态时间规整挑选最具代表性的加速度数据。动态时间规整是一种用于衡量2个时间序列之间相似度的方法，允许对2个时间序列进行非线性的时间拉伸和压缩，以找到2个时间序列之间的最佳匹配^［16］。针对每个按钮，利用动态时间规整，首先从采集的单个用户加速度数据集中寻找与其余数据相似度最高的加速度数据，接着进一步从10个用户的代表性加速度数据中筛选出最具代表性的加速度数据。

考虑到压电电动机的响应特性，通过正弦波幅值调制的方法重构原始加速度信号，重构加速度信号s（t）计算式为

$$s(t)=A(t)\mathrm{s}\mathrm{i}\mathrm{n}(\mathrm{2}\mathrm{\pi }ft)$$

式中：A（t）为幅值包络信息；f为频率。因此，需要分析原始加速度数据的幅值包络和频域信息。希尔伯特变换是一种常见的信号处理方法，用于将实部信号转化为复数信号，从而提取信号的包络。利用希尔伯特变换得到加速度的幅值随时间的变换，再通过快速傅里叶变换获得加速度信号的功率谱密度信息。3种按钮的按压力、加速度幅值随时间的变化以及加速度信号功率谱如图5所示。

图5  3种按钮按压力、加速度幅值随时间的变化以及加速度信号功率谱

Fig.5  Force-time and acceleration amplitude-time, and power spectrum of acceleration signal for three physical buttons

从频域来看，鉴于机械结构和材料等因素，功率谱密度均集中在100 Hz以下。由于无法对频域进行完全的重现，因此基于对设备振动共振频率的考虑，将载波信号的频率f均定为100 Hz。3种按钮按压力、加速度幅值包络变化结果表明：①当手指压力达到一定值，切换开关内部机械结构的运动导致手指压力的突变，同时加速度幅值突增；②自锁按钮的加速度可分为按压和释放过程，按压过程中持续存在一定的加速度幅值，由于自锁按钮不具备复位功能，因此加速度幅值的增加小于按压力释放最后阶段；③复位按钮在按下后自动复位，当低于一定按压力时，按压和释放区间均检测到一定大小的加速度，而且加速度幅值在释放的开始阶段突增后逐渐减小。

1.4　基于按钮力学特征进行触觉渲染

根据原始加速度信号包络重构的加速度信号与原始加速度信号的时域和频域对比如图6所示。时域上轮廓相似，切换开关的原始加速度信号频谱和重构加速度信号的频谱相似，自锁按钮和复位按钮的重构加速度信号的频谱集中在100 Hz，与原始加速度信号的频谱相差较大。

图6  原始加速度信号和重构加速度信号的时域和频域对比及重构加速度信号的截取

Fig.6  Time and frequency domain comparison of original acceleration and reconstructed acceleration signals, and truncation of reconstructed acceleration signals

为了提取3个按钮的关键特征，将重构加速度信号基于按压力进行分段，触觉渲染的具体设计为：对于切换开关，振动反馈集中在按压驱动开关状态切换的时刻，自锁按钮和复位按钮的触觉反馈根据按压力大小分为按压和释放两阶段。按压触觉反馈的力触发时刻皆为大于1.0 N，自锁按钮和复位按钮的释放触觉反馈的力触发时刻分别为小于1.5 N和小于6.0 N。如图6所示，黑色虚线间的信号为截取的按压阶段的振动反馈，灰色虚线之间的信号为释放阶段的振动反馈。

2 复位按钮的顺应性再现

相比于切换开关和自锁按钮较为坚硬且不均匀的触觉感知，复位按钮由于其内部弹簧回弹的特性，使得按下和释放的过程仿佛在持续按压弹性柔软的物体，因此进一步探索了如何利用触觉反馈向在硬表面上施加力的用户重现虚拟复位按钮的顺应性，研究了不同方法对用户主观偏好的影响。

2.1　顺应性颗粒法和复位按钮力与加速度关系

在力的作用下发生位移或变形的物体中，都有一个由摩擦引起的力的分量，该力的分量与手指运动的方向相反，并以3种可能的方式表现出来：反对运动的力、振动和声音。由此可以假设，由运动摩擦产生的振动是有用的皮肤触觉提示，帮助用户获得按压材料顺应性的感觉。Kildal^［9］首次提出了摩擦颗粒弹簧模型，如图7所示。用户按压具有弹簧特性的材料表面，该材料沿Z轴（垂直于表面）位移，并且在按压释放的来回位移中克服了许多摩擦颗粒，被感知为离散的振动。基于摩擦颗粒弹簧模型生成的颗粒振动反馈（颗粒法）被广泛应用于人机交互中^［10-11］，向用户手提供短暂振动（颗粒信号），该颗粒信号沿着按压力曲线均匀分布，可以让用户感知到按压弹性材料表面的错觉。

图7  具有离散摩擦颗粒的弹性材料模型

Fig.7  Elastic material model with discrete friction grains

通过重现不变的振动加速度进行复位按钮按压和释放阶段的触觉渲染，可能无法帮助用户感知到按钮的顺应性。基于复位按钮的真实按压力和加速度数据，找出加速度与按压力之间的规律，实现顺应性错觉。采用样条插值对时间和力进行插值，力的导数和加速度幅值包络在时间上的变化如图8所示。由图8可见，高幅值的加速度集中在力导数的加速度幅值极值处，因此本文提出基于按压力导数的加速度幅值调制方法（dF/dt法），期望振动反馈加速度幅值变化A（t）在按压期间和释放期间与按压力导数成不同系数的正比。如图8所示，对比实际采集到的加速度幅值和根据dF/dt法调制的期望加速度幅值，除了释放最初时的加速度幅值相差较大，其余时刻存在一定的相似趋势。

图8  实际加速度幅值和dF/dt法得到的期望加速度幅值对比

Fig.8  Comparison of actual acceleration amplitude and expected acceleration amplitude obtained from dF/dt method

2.2　3种复位按钮触觉反馈方法比较

1.4节阐述了复位按钮基于真实数据驱动的反馈方法（数据驱动法），2.1节阐述了颗粒法的原理和本研究提出的dF/dt法。颗粒法在人机交互中被广泛运用，然而由于振动颗粒在时间上离散分布，因此颗粒法的振动触觉反馈可能让人感到粗糙颠簸，会对用户主观体验产生不利影响。将数据驱动法、颗粒法、dF/dt法进行对比，探究这3种方法在模拟真实复位按钮的触觉相似性、顺应性、平滑性、用户主观偏好时的表现优劣。

为了平衡相关参数，3种方法的触觉驱动信号的基础信号皆为100 Hz的正弦波，驱动力区间保持一致。参考Kim等^［10］的研究，颗粒信号幅值包络为周期18 ms的倒锯齿波，颗粒法中的颗粒间隔设置为0.062 5 N，即按压力每改变0.062 5 N颗粒信号驱动系统就进行一次非常短暂的振动反馈，同时调整了颗粒法的振动反馈幅值，使得用户对颗粒法和dF/dt法感知到的振动强度较为相似。采用视觉模拟尺度评分法，通过4对形容词对3种方法进行主观评估，分别为刚性‒顺应性、颠簸的‒平滑的、不愉快的‒愉快的、不相似的‒相似的。实验评价界面如图9所示，每条水平线左右两端对应一对相反的形容词，初始时滑块处于中间。10名实验者参与了本次实验，其中男性8名，女性2名，年龄18~26岁，平均年龄23.1岁。每次实验持续时间约为20 min，参与者可以根据自身需要重复感知不同方法带来的触觉感受，操纵滑块进行形容词程度评价。

图9  实验评价界面

Fig.9  Experimental evaluation interface

3种方法的4对形容词初始评分箱形图如图10所示。可以观察到，除去部分离群值，在刚性‒顺应性、颠簸的‒平滑的和不相似的‒相似的形容词对评分上，dF/dt法相对于颗粒法、数据驱动法中位线明显偏高，变异性较小，触觉感知偏向顺应、平滑，与真实复位按钮相似。在不愉快的‒愉快的形容词对评分上，数据驱动法和dF/dt法中位线高于颗粒法，且变异性较小。

图10  形容词初始评分箱形图

Fig.10  Initial rating box plot of adjectives

即使在相同的感知条件下，不同参与者的评分也可能存在差异，直接对初始评分进行平均会导致参与者之间的权重失衡，因此需要对数据进行标准化。对于每个形容词对，计算所有参与者对所有方法评分的几何平均值α以及每个参与者对所有方法评分的几何平均值β，随后将每个参与者对每个方法评分乘以α/β，得到最终的标准化值，以保留不同方法感知差异的比例特征^［17］。标准化后3种方法对应4个形容词对评分的平均值如图11所示。由于评分数据违反了方差齐性，采用弗里德曼检验进行3种方法的差异分析，以p值0.05作为显著性水平的判断标准。结果显示，3种方法在刚性‒顺应性、颠簸 的‒平滑的，不愉快的‒愉快的和不相似的‒相似的上均存在显著差异（p<0.05）。使用威尔科克森符号秩检验进行成对比较：在刚性‒顺应性评分上，dF/dt法感知到的顺应性高于颗粒法（p=0.008）和数据驱动法（p=0.008）；dF/dt法较颗粒法（p=0.036）和数据驱动法（p=0.008）更为平滑；dF/dt法较颗粒 法（p=0.036）更为愉快，但与数据驱动法相比没有显著差异；dF/dt法相比于颗粒法（p=0.011）和数据驱动法（p=0.011）在复位按钮真实触觉感知的相似性表现上更好。

图11  标准化形容词评分平均值的对比雷达图

Fig.11  Comparison radar chart of average rating of standardized adjectives

颗粒法已被许多研究证明其在恢复弹性物体顺应性上的有效性，基于真实弹性复位按钮采集加速度数据的数据驱动法在顺应性表现上与颗粒法相似，而dF/dt法不仅同样能带来顺应性的错觉，表现还优于颗粒法。在颠簸的‒平滑的表现上，颗粒法和数据驱动法较dF/dt法感知较为粗糙，可能是由颗粒法不连续的振动和数据驱动法在时域上的加速度幅值激增导致的，而dF/dt法在振动时域上连续且加速度幅值变化较为均匀。基于以上分析得出，相比于颗粒法和数据驱动法，dF/dt法在模拟真实复位按钮的按压触觉、顺应性、平滑性、用户主观偏好上表现最优。

3 3种类型虚拟按钮匹配实验

结合顺应性设计了切换开关、自锁按钮、复位按钮的反馈方式，为了验证用户能否通过以上主动触觉反馈方式感知到按钮的关键特征，因此进行了匹配实验。匹配实验共分为3步：第1步，参与者分别按下3个物理按钮多次，以熟悉按下不同按钮所产生的触觉反馈；第2步，参与者按下虚拟按钮，随机收到不同种类按钮的触觉反馈，每种按钮类型共出现3次，要求参与者将其与物理按钮相匹配，并确认选择的准确性；第3步，每种按钮类型共出现10次，参与者完成30次按下虚拟按钮的实验，随机收到不同种类按钮的触觉反馈，并要求参与者选出相对应的真实按钮类型。实验的随机水平为33.3%。共采集了10名实验者数据，实验者包括2名女性、8名男性，年龄21~26岁，平均年龄23.3岁。刺激‒响应混淆矩阵如图12所示。

图12  刺激‒响应混淆矩阵

Fig.12  Confusion matrices for the responses

从准确率、精确率、识别率对结果进行分析，准确率是全部样本中预测准确的比例，数值为94.33%。每个按钮类型的精准率和识别率如表1所示。精准率表示准确选择某种按钮类型占所有选择这种按钮类型的比例，识别率表示实际为某种类型的样本中识别到这种类型的占比。

表1  3种按钮指标比较

Tab.1  Comparison of performance metrics of three buttons

按钮类型	精确率/%	识别率/%
切换开关	100.00	100
自锁按钮	91.10	92
复位按钮	91.90	91

为分析3种虚拟按钮反馈方式对用户表现的影响，采用弗里德曼检验进行精确率和识别率的差异分析，然后采用威尔科克森符号秩检验进行成对比较。结果显示，切换开关相对于复位按钮（p<0.05）和自锁按钮（p<0.05）具有最高的精确率和识别率，而复位按钮和自锁按钮的精确率和识别率没有显著区别。所有实验者都能准确识别出切换开关的触觉反馈，并且不会将其他按钮类型与之混淆。这可能是因为切换开关的触觉反馈仅存在于按压期间，而自锁按钮和复位按钮在按压和释放阶段均存在主动触觉反馈，存在将两者混淆的可能。然而，如表1所示，绩效指标概率均远远高于33.3%，准确率高达94.33%，因此可以认为，本研究设计的3种类型虚拟按钮的主动触觉反馈方式一定程度上保留了其对应的真实物理按钮的特征属性，当驾乘人员操控智能表面或触摸屏的虚拟按钮时，可以仅通过触觉感知进行按钮类型和按钮状态切换的识别。

4 结论

（1）采集了3种真实物理按钮的按压力和加速度数据，对加速度数据进行了高通滤波；运用动态时间规整算法提取特征信号，再用希尔伯特变换提取其包络并进行幅值变化分析；重构加速度信号，然后根据各物理按钮特征基于按压力分段提取特征加速度信号。

（2）结合真实采集的加速度和按压力数据，提出一种根据用户按压力导数进行振动幅值调制的触觉反馈方法，恢复顺应性的同时更好地模拟了复位按钮的触觉感知。

（3）要求实验者根据触觉感受将虚拟按钮与物理按钮类型进行匹配，刺激‒响应混淆矩阵准确率高达94.33%，表明提出的基于真实数据、结合主观感受进行设计的触觉反馈有效恢复了物理按钮的感知特性，可以帮助驾乘人员进行无视觉需求的人车界面交互。

作者贡献声明

沈传亮：学术指导，论文审阅及修改。

岳玉冰：数据收集与分析，论文撰写。

叶瑞章：数据处理。

胡宏宇：学术指导，论文审阅。

高镇海：学术指导。