成果介绍
与你瞳行-渐冻人智慧生活眼控轮椅是为渐冻人等手脚不便的患者设计的,设计目标是使用户只需要眼球操作,就可以自主完成日常居家出行的操作。系统使用摄像头拍摄使用者脸部信息,通过算法对眼球进行识别与追踪,获取眼球视线聚焦位置、有效凝视时间等信息,通过计算可判断用户当前的意图,控制轮椅沿所选路径移动、以及自如地控制门锁、灯光、窗帘、电视、空调等智能家居设备。此外,当陪护人员在时,系统也可以选择跟随模式,轮椅便可以跟随陪护人员前进。同时,系统还加入了智慧语音功能,集成了使用者常用的语句,使用者可以用眼球选择想说的话,系统会通过蓝牙音箱等设备播放出来。同时系统还添加了音乐功能,让用户可以自己用眼睛选歌、听歌。
成果亮点
创新点一:眼球校准
使用摄像头获取每一帧图像,利用Dlib库检测68个人脸特征点。筛选左眼与右眼的特征点,通过眼睛特征点,抠选出眼睛图像。
对提取出来的眼睛图片进行双边滤波处理,根据眼部的灰度分布特性,搜索最优阈值对滤波后的图像进行二值化,提取到瞳孔轮廓,通过计算得到的质心即为瞳孔中心。
利用多项式拟合方式进行与屏幕映射,如图所示,采用5个校准点,拟合4阶多形式,并修改校准点的位置和大小,提高了校准的准确度。
创新点二:眼球驾驶
经过校准后,采集用户眼睛注视显示器上的坐标,从而转化为“眼控光标”。
光标在屏幕上紧跟用户眼睛的注视坐标而变化,并且用凝视来触发按钮,轮椅的眼球控制界面
团队介绍
中国机械工程学会(Chinese Mechanical Engineering Society,简称CMES)自1936年成立以来,始终秉承“联络机械工程同志,研究机械工程学术,努力发展机械工程事业”的创会宗旨,脚踏实地,自强不息,为我国机械工业发展做出了重要贡献,已发展成为我国成立最早、规模最大的工科学会之一。学会历任理事长有汪道涵、沈鸿、陶亨咸、陆燕荪、何光远、路甬祥、周济等中国机械工程著名专家学者。现任理事长是林忠钦院士。学会下设13个工作委员会,41个专业分会,业务指导32个省区市学会。个人会员***万余人,单位会员2500余个。学会代表中国加入了11个国际组织,并与26个国家的45个学术团体签订了合作协议。主办科技期刊36种。学会科技人才荟萃、资源实力雄厚;业务范围广泛、服务内容多样,主要业务内容有:学术交流、编辑出版、教育培训、专业认证、资格认证、奖励举荐、战略咨询、科学普及、科技评价、标准制定、国际合作、展览展示等。学会的发展得到了政府部门和社会各界的支持和肯定。被民政部评为全国社会组织5A等级,被中国科协评为学会创新和服务能力提升工程一类优秀科技社团
视频资料
成果资料