科创中国

本发明适用于通信领域，提供了基于移动终端的人机交互方法，包括：控制移动终端的摄像头，并通过摄像头实时采集用户面部画面；通过采集到的用户面部画面检测双眼位置；根据检测到的双眼位置提取搜索窗口，并初始化搜索窗口；在搜索窗口中确定双眼眼球的位置，并通过检测眼球区域深色像素连通域的高度来判断双眼的开合状态；根据检测到的双眼的开合状态，发送相应的控制命令给移动终端以实现对应操作。本发明还提供基于移动终端的人机交互系统。本发明所提供的基于移动终端的人机交互及系统可以实现通过眨眼来控制移动终端的操作，进而提高用户的体验。

1. 一种基于移动终端的人机交互方法，其特征在于，所述人机交互方法包括： 控制移动终端的摄像头，并通过所述摄像头实时采集用户面部画面，将所述摄像头拍 摄的人脸视频实时显示在所述移动终端的屏幕上； 通过采集到的用户面部画面检测双眼位置； 根据检测到的双眼位置提取搜索窗口，并初始化所述搜索窗口； 在所述搜索窗口中确定双眼眼球的位置，并通过检测眼球区域深色像素连通域的高度 来判断双眼的开合状态； 根据检测到的所述双眼的开合状态，发送相应的控制命令给所述移动终端以实现对应 操作。 2.如权利要求1所述的基于移动终端的人机交互方法，其特征在于，所述根据检测到的 双眼位置提取搜索窗口的步骤具体包括： 根据眼球有近似圆的特征，利用估计近似圆中心的方法估计眼球的中心； 根据眼球的中心获得眼球的近似外接矩形； 根据所述近似外接矩形以及双眼的位置分别为双眼建立矩形框作为搜索窗口。

]目前，现有的人机交互系统，不管是触摸屏还是按键型都需要有手的介入，才能实 现各项功能选择。以阅读手机电子书为例，如果手机是触摸屏手机，则用户需要用手滑动或 者点击触摸屏来实现上下页的翻页阅读，如果手机是按键型手机，则用户需要按上下键来 实现上下页的翻页阅读，这些操作和功能的选择都离不开手，久而久之，不免会让用户感到 枯燥乏味。

[0003]而且，虽然目前许多软件也有自动翻页功能，但是需要预先设定翻页间隔时间，由 于每页的内容量不同，每个人的阅读速度也不同，预设翻页间隔时间内没看完页面内容就 翻页或者在预设翻页间隔时间之前看完而等待翻页，这些无疑都会影响用户的正常阅读， 进而导致影响用户的体验。

[0004]因此，亟需设计一种操作简单而且全新的用户体验模式，进而达到丰富人机交互 形式的效果，增加用户的体验乐趣。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

在本发明实施例中，本发明提供的技术方案，通过移动终端的摄像头实时采集用 户面部图像，通过所提出的识别算法实时的检测人眼的眨眼动作，以特定的眨眼动作来激 活相应的移动终端控制信号，进而控制移动终端的若干操作，如电子书的翻页、图片和网页 浏览等操作，无需手指的介入也无需额外的设备即可轻松操作移动终端，具有操作简单、便 利且硬件成本低的优点，本发明提供的技术方案提供了一种全新的用户体验模式，进而达 …丨^^^人^^八叩双禾’壻加了用户的体验乐趣。

技术合作

上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的， 但并不局限于上述的划分，只要能够实现相应的功能即可;另外，各功能单元的具体名称也 只是为了便于相互区分，并不用于限制本发明的保护范围。

[0139]另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤 是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介 质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

[0140]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。