需求发布 成果发布 科创案例库 揭榜挂帅
技术路演 会议展览 科创联合体 项目申报
前沿动态 科技政策 院士开讲 青托工程
科技服务团 学术资源
试点城市(园区) 双创活动周
协作站点 学会服务
问题库 项目库 开源库
English
您所在的位置: 需求库 技术需求 基于多模态交互的信息理解与情境任务感知建模方法

基于多模态交互的信息理解与情境任务感知建模方法

发布时间: 2023-10-02
来源: 科技服务团
截止日期:2023-10-07

价格 双方协商

地区： 北京市 市辖区 海淀区

需求方： 联想**

行业领域

电子信息技术

需求背景

随着 AI 和 IoT 技术的进步，智能系统具备了强大的情境感知能力，例如智能手机可以通过感知用户的物理和社交环境来提供自动化服务。然而，面对信息的多样性和任务需求的复杂性，信息处理面临巨大挑战。因此，结合大模型和人机交互技术以解决基于多模态数据的情境感知和建模问题，提升个人信息助理的能力，具有重要的研究意义和实用价值。

需解决的主要技术难题

1.多模态输入理解，即如何有效处理并从文本、图像、音频等多模态输入中提取知识。

2.情境感知与任务识别，即如何根据用户所处情境识别其任务需求。

期望实现的主要技术目标

1.完成基于多模态数据的情境任务感知技术方案，交付一套软件演示系统，实现三种以上不同模态的输入内容感知，提升现有情境任务感知准确性。

2.形成的创新方案可为联想 PC 、平板、手机以及 IoT 等设备提供情境任务感知服务。

3.发表人机交互 CCF-A 类或中科院一区期刊论文2篇。

4.申请相关专利1-2项。

需求解析

解析单位：“科创中国”工业互联网产业科技服务团（中国计算机学会） 解析时间：2023-10-13

李华康

西交利物浦大学

副教授

综合评价

1.数据收集和预处理 (1)需要尽可能收集全面和准确的多模态数据，以避免模型出现偏差。 (2)不同的模态数据需要进行不同的预处理，需要注意规范性和正确性。例如，语音转文字需要使用正确的语音库和参数，文字分词需要使用合适的分词算法和词典。 (3)需要保证数据的质量和标注准确性，以提高模型的训练效果。 2.信息理解 (1)针对不同的模态数据，需要选择适用的自然语言处理或计算机视觉技术，以提高理解的准确性和效率。 (2)多模态数据需要进行融合和互补，以提高理解的全面性和准确性。例如，可以将文本和图像结合起来理解一篇文章的主题和内容。 3.情境感知 (1)情境感知需要考虑时序关系，以便更好地理解用户的意图和需求。例如，用户的行为和发言可能存在一定的时序关系，需要模型能够捕捉这些关系。 (2)需要提高模型的个性化和自适应性，以便更好地满足不同用户的需求。例如，不同用户可能有不同的语言习惯和行为模式，需要模型能够自适应和学习这些模式。 4.建模与决策 (1)模型需要具备泛化能力，以便能够适应新的数据和情境。例如，模型需要对新的用户输入和情境进行学习和适应，以提高决策的准确性和鲁棒性。
查看更多>

解析单位：江苏省苏州市 解析时间：2023-10-11

赵鹤鸣

苏州大学

教授

综合评价

1)该基于多模态交互的信息理解与情境任务感知建模方法，通过增加雾计算，可使雾节点通过本地网络连接传感器和执行器，当传感器节点读取数据后无需通过云端传输至用户终端，保证了其连接性，使得工控系统能够应用于恶劣环境下；避免了云计算中信息往返的延迟时间长的问题，保证了系统的反应速度；且雾节点提升了安全性能，减少了泄密的机会，有效降低了受攻击风险。 2)该基于多模态交互的信息理解与情境任务感知建模方法，通过建立工控系统安全事态感知模型，可根据对比各传感器所提供的信息判断系统是否收到攻击，并可快速确定恶意节点，当雾管理节点C向三个传感器p1，p2，p3发送信息v时，C对获得的值(v，v，x)通过比较数量的方法进行分析可确定上述数据源中不一致的数据源来源p3，从而确认恶意节点。
查看更多>
更多

处理进度

  1. 提交需求
    2023-10-02 22:43:34
  2. 确认需求
    2023-10-10 16:12:00
  3. 需求服务
    2023-10-12 10:27:17
  4. 需求签约
    2023-12-05 15:15:14
  5. 需求完成
    2023-12-05 15:15:14
服务方

“科创中国”江苏科技服务团 , “科创中国”工业互联网产业科技服务团 , “科创中国”江苏科技服务团（江苏省学会服务中心）