科创中国

行业领域

电子信息技术

需求背景

在如今，汽车智能化程度不断提高，在保证汽车驾驶安全性的同时，人们更加注重汽车的驾驶体验，汽车座舱内部的人机交互方式从物理按键到屏幕触控、语音控制，再到如今新的手势控制，交互方式愈发便智能。就最新的手势交互方式，虽然可以解决语音控制与触屏控制的环境操控不便因素，但是就目前车内手势产品的用户体验驾驶评价来看，由于车内手势复杂度较高、环境干扰较强(如光线变换、人为干扰、遮挡等)、关键区域不确定以及用户操作手势不规范性等诸多问题，用户在使用手势识别功能的过程中存在的不同程度的误识别以及做出动作未响应召回的现象。因此，对实车手势识别模型进行科学的、客观的、合理的、全面的测试验证显得十分必要，同时，也利于指导模型训练过程中训练数据正负样本比例调整，训练动作相似手势取舍，进而改善静态手势模型的识别效果。为了更加全面地指导静态手势模型训练，在测试验证过程中，一方面取决于测试数据本身的数量级别与数据样本的多样性，以及测试验证过程中，大量数据计算而带来的计算压力，还取决于在数据验证对比过程中各种正负样本的精确定位。

目前来说，现有技术方案还没有针对于实车应用级别的完整的静态手势识别从数据到预测再到验证的完整测试方法。通过研究与被测静态手势模型相似的手势识别方法来分析模型训练数据的合理性。如：***，手势识别和手势识别网络的训练方法及装置、设备、介质中提出了一种手势识别及手势识别网络的训练方法，通过识别手势框图像输入到手势识别网络，输出坐标信息、手势分类信息及背景信息。该模型数据输入数据种类匮乏，导致性能优化效果不佳，具体原因是没有对输入训练数据进行科学全面地评估。

大多数模型识别验证的测试方式，其一是在手势识别的算法模型训练过程中针对数据训练过程中通过调整训练数据的正负样本比例并且将调整后的数据抽样少量的数据用于模型的过程验证，此种验证只是指导当前训练数据中的模型训练效果好坏，不能用以指导模型识别效果。其二就是针对于静态手势识别模型在本地计算平台上的实时验证，未经过较大数量级别的全方面数据验证，无法反映真实的车内视觉驾驶环境。其三对于大批量验证数据的数据处理，大多数测试方法是通过直接访问被验证图片，获取图片信息，这样会导致计算内存的高占用，测试时间被拉长。

需解决的主要技术难题

现有模型数据输入数据种类匮乏，导致性能优化效果不佳，具体原因是没有对输入训练数据进行科学全面地评估。

大多数测试方法是通过直接访问被验证图片，获取图片信息，这样会导致计算内存的高占用，测试时间被拉长。

期望实现的主要技术目标

1.可以方便开发人员进一步分析未召回动作与误识别动作，继续针对性地指导模型训练数据的科学输入。

2.能够避免在现有的模型识别验证测试方式下，静态手势识别模型无法反映真实的车内视觉驾驶环境的问题，取得获得静态手势综合评价的性能指标以及当前模型的正负样本数据中的误识别与未召回数据事件，用以指导模型训练的效果。

处理进度