开放环境自适应视觉感知计算关键技术与应用
成果类型:: 发明专利
发布时间: 2022-11-13 14:12:48
视觉感知计算是国家公共安全、互联网内容监管、智能设备等领域的核心共性技术。在监控视频、互联网视频等开放环境中,应用场景的复杂性和多样性导致智能感知计算系统性能急剧下。在开放环境中准确及时地发现异常和敏感元素,是反恐防暴、应急响应和净化网络环境的核心需求,迫切需要精准高效的视觉感知计算技术,我国在“中长期发展规划”、“十三五规划”、“公共安全科技规划”等一系列战略中进行了全面布局。现有技术在开放环境下面临复杂对象“认不准”、多域环境“学不全”、海量数据“算不快”的挑战,亟需在核心算法、关键技术和应用系统实现源头创新,打造公共安全的利器,并推动了视频和智能设备行业的进步。在国家重点研发计划、国家自然科学基金等项目支持下,开展了开放环境自适应视觉感知计算关键技术与应用研究,发明了多尺度融合对象检测技术、多领域弱监督自适应识别技术、深度模型压缩加速技术,研制了面向公共安全、互联网监管和智能设备的视觉感知计算平台。
1、针对开放环境对象复杂、尺度变化大带来的精准检测追踪难题,提出了一种多尺度深度特征学习新模式,建立了复杂空间多尺度融合模型,提出了跨尺度多线索信息融合的检测追踪方法,实现了监控视频等开放环境下对象的精准检测追踪,相关模型与算法应用于智能摄像头等系列安防产品中。2、针对开放环境视频中对象类别多样、标注杂乱、场景多变带来的跨领域语义识别难题,建立了数据域的类别间样本迁移学习模型,提出了标注域的鲁棒深度学习方法,实现了互联网视频、监控场景开放环境跨领域语义理解模型的自适应高效构建和鲁棒识别,标注效率和抗噪能力显著提升,模型与算法应用于视频大数据研判服务器及短视频辅助审核系统,在 MS-COCO2016 等国际权威竞赛中排名第一。
项目紧扣“平安城市”建设以及“人工智能”等国家重大战略需求,将系统成功应用于公共安全、互联网监管和智能设备等重要领域。项目联合联海创智、大华科技、快手科技、OPPO 等相关领域的重要单位和公司,在开放环境自适应视觉感知计算关键技术、相关装备与系统取得重要突破和广泛的实际应用。在公共安全领域:项目成果集成到为联海创智公司高清视频相机及智能监控产品中,为新疆多个安防项目提供装备与系统支撑,在多个地市州公安局、政法委等单位得到应用,在公安监控应用中发挥了重要作用,“在多起实战中提供了至关重要和可靠的情报支撑,提升了当地社会安全保障水平”,“在新疆安防建设、维护社会治安方面起到了重要作用”。过去 3 年,创造直接经济效益约 4.8 亿元。此外该项目研制的开放环境自适应视觉感知计算关键技术应用在了大华科技的高清视频监控装备与智能分析平台的核心组成部分,在公安部门、交通部门得到推广应用,在安防建设、维护社会治安方面起到了重要作用。同时,相关技术合作使得公司多次荣获国家和地方科技认定。促进了公司物联设备的现代化与智能化,使其为公共安全的智慧服务起到了巨大的推动作用,具有很大的社会效益与应用价值。过去 3 年,创造直接经济效益约 15.7 亿元。
1 丁贵广 男 1976.10 副教授 博士 清华大学负责整个项目研发;主导开放环境多尺度检测追踪技术、跨领域自适应语义识别技术、深度模型压缩加速技术创新和系统研发2 颜成钢 男 1984.11 研究员 博士杭州电子科技大学主导了跨尺度特征融合的检测追踪模型、全局式增强学习识别技术的创新3 郭雨晨 男 1990.10助理研究员博士 清华大学主导了以样本迁移为核心的多领域知识迁移方法、深度置信网络鲁棒学习模型、非对称深度学习原理,逼近无损模型压缩压缩加速技术的创新4 张志伟 男 1990.5中级工程师硕士北京达佳互联信息技术有限公司组织了集成项目技术的互联网内容智能审核系统研发和深度模型压缩加速引擎的研发,及其在互联网内容监管领域的应用和推广5 敖乃翔 男 1987.7高级工程师博士新疆联海创智信息科技有限公司组织了集成项目技术的高清视频监控系统与智能分析平台研发,及其在公共安全领域、新疆反恐防暴建设中的应用和推广
在新疆安防建设、维护社会治安方面起到了重要作用”。过去3年,创造直接经济效益约4.8亿元。相关技术合作使得公司多次荣获国家和地方科技认定。促进了公司物联设备的现代化与智能化,使其为公共安全的智慧服务起到了巨大的推动作用,具有很大的社会效益与应用价值。过去3年,创造直接经济效益约15.7亿元。依托本项目深度模型压缩技术成果,公司牵头将该技术率先应用部署到商业化广告系统中,由于2019年启动使用该压缩技术使得广告推荐推理所消耗的计算量减少20%,线上生产环境节省服务器计算资源20%,具有良好的社会效益和可观的经济效益,其中经济效益为1.948亿元。项目为OPPO公司AI智能美颜模块提供了原创技术,成果应用到OPPO多款智能手机中,实现了多样环境下对不同条件人脸的准确快速地识别,同时满足了手机用户对美颜应用真实性、流畅性方面的需求,提升了OPPO手机的用户满意度与市场竞争力。过去三年在全球40多个国家累计销售约3.9亿台,技术创造直接经济效益高达8.1亿元。社会与经济效益突出。
在互联网监管领域:项目成果中的多媒体内容理解技术、深度模型压缩技术等应用在快手的互联网短视频/直播视频分析任务当中,依托本项目多媒体内容理解相关技术成果,公司牵头研制了内容审核平台,应用在快手短视频/直播内容机器审核业务中,通过机器审核+人工审核满足每日千万级别视频内容审核任务。依托本项目深度模型压缩技术成果,公司牵头将该技术率先应用部署到商业化广告系统中,