科创中国

新一代信息技术产业,人工智能

本项目开发的一种新型的第三代多模态数字安防可信计算平台，利用多源信息的人机交互实现关键目标的监测和检索新方式，为重点人员的实时监测和检索提供多轮次、多感输入的检索结果，提高该系统对关键目标的检出率，以获取关键目标的对应地理位置信息，实时对重点人员实施预警。公司的目标产品以核心算法为基础，构建两个多模态大模型和一款多模态数字安防可信计算平台，为“多源数据分析一体机”提供支撑。多源数据分析一体机：在保护数据隐私的前提下实现小案快打，一键分析。一款集现场勘查、点位采集、视频取证、审看和智能分析于一体的便携式多源视频勘查工具集，可以实现红外、语音、文字、图像等多种信息一键采集。可有效解决当前基层缺少高效视频采集和点位采集手段、采集工作缺乏条理性易遗漏，采集视频侵犯个人隐私、多源信息数据采集困难等问题。一体机与社区的摄像头、烟雾报警器、温度传感器、声音传感器等硬件接通，实现对社区内行人、车辆、住户的安全状态的分析和判断，并提供可视化界面供社区管理者。社区居民在应用商场免费下载本产品相应手机软件后，通过手机软件与平台进行交互。

（1）多源数据协作与隐私保护：面对多方协作学习的隐私保护问题，提出了一系列创新性的解决方案，构建了全球首个面向模型异构场景下的多方隐私保护协作平台。基于异构联邦学习，我们引入了动态知识蒸馏和动态重加权等机制，以实现泛化性和鲁棒性。通过同态加密和可信计算技术，我们保障了模型参数传输的安全性，同时允许不同数据在本地进行协作，实现了隐私保护的“可算不可见”，使得我们的技术在隐私保护领域达到世界一流水平。 （2）多源数据融合关联挖掘检索： 针对复杂多变的视频监控场景，我们的技术在多源异构信息关联融合的基础上，构建了第一个多模态安防大模型，实现了高效的不同跨模态数据间的目标检索。我们解决了数据模态多样性带来的挑战，克服了旋转、姿态、环境、遮挡等因素。无论是无人机数据、夜间红外图像、素描图像、文本描述、视频数据还是语音，我们的技术均能实现精准、全面的多源数据处理。 （3）语义交互的突发事件预警： 针对社区电子安防领域着重关注多模态数据的语义理解的问题，我们构建了一个多模态语义理解大模型，通过利用意图标签的层次结构，我们成功补充了视觉内容建模，解决了数据解读中的问题。

项目申报人叶茫，拟任公司CEO，整体负责公司管理和核心战略方向把控。29岁任武汉大学计算机学院教授、博士生导师，兼武昌区科协副主席。首届国家优青（海外）获得者、中国科协青年托举人才、湖北省百人计划创新人才。曾任阿联酋起源人工智能研究院研究科学家、美国哥伦比亚大学访问学者。董性平，拟任公司首席科学家，负责核心技术研发。现任阿联酋起源人工智能研究院研究员，2022国家优青（海外）获得者。陈翠群，拟任公司核心技术骨干，负责平台开发和软件设计。现为武汉大学重点资助博士后，主要研究方向为计算机视觉、多模态理解。、王东日，拟任公司客户总监，负责公司客户市场开拓和公司营销。王雯，拟任公司首席运营官，负责公司运营、市场品牌管理，辅助CEO的工作。叶翠，拟任公司财务总监，负责制定和监督公司的财务战略和计划。南亚平，任公司行政副总，河北工程大学管理学硕士，负责制定和监督公司的行政管理工作。杨衢、姜定是公司的研发工程师，均在武汉大学获得了硕士学位，具有多年的多模态目标检索方面的研究基础，均已第一作者身份在人工智能顶级会议期刊上发表论文，具有良好的前沿技术研发和工程实践能力。

点击查看