基于多模态生成式垂直大模型的电力数字专家
成果类型:: 新技术
发布时间: 2023-10-27 18:43:00
本项目重点关注能源行业的泛安全管理问题,包括发输变配电设备安全、作业人员安全等。通过构建垂类多模态大模型实现对电力行业泛安全相关的各类要素数据的分析与推理,实现从数据采集、要素挖掘、关系分析、措施规划的全自动RPA流程,形成针对能源行业泛安全域的数字专家。珠高智能凭借全自研的多模态垂直大模型(AI)技术和RPA技术,可以提供灵活的数字专家解决方案,以适应不同发展阶段客户的不同场景的数字化需求。珠高智能的电力数字专家拥有完全自主知识产权,不依赖于国外的大模型,支持私有化部署,可以保证数据和业务的安全性。
a)基于情境学习的知识学习及更新问题:虽然情境学习已经得到了初步的研究,然而研究方向依然集中于其在few-shot领域的表现,未有探究其背后的原理,包括其知识学习机制和知识更新机制,同时在知识量上也受制于上下文窗口限制。 b)多模态数据特征提取与对齐融合问题:虽然图像特征提取已经利用ViT模型进行了初步的探索,然后其在精细粒度的特征对齐依然存在很大的欠缺。除此之外,声纹、时序信号的特征提取依然有待研究。如何在精细粒度层面(包括位置、时间等维度)进行多模态数据与文本特征的对齐是亟待解决的问题。
数字专家本质是RPA的一种交付形式,而RPA作为一种新兴的“数字劳动力”,可以替代或辅助人完成规则明确的重复性劳动,并且能够快速灵活部署,及时响应业务需求,大幅提升业务流程效率,同时能降低人工操作的错误风险,实现企业业务流程的自动化和智能化,从而降本增效,被视为人工智能商业化落地的优质载体。随着AI大模型时代到来,当前融合以GPT为代表的AI大模型LLM(Large Language Model,大型语言模型)的RPA,可以说在人机交互上是一次巨大进步,甚至是一种对以往RPA模式的颠覆。
珠高智能公司研究开发经验丰富,“针对电网与人工智能融合的电网多模态大模型”和“针对电网精细化识别的电力知识嵌入体系”先后于2022 年 3 月、2022年8月被中电联鉴定为“国际领先”技术。珠高智能公司具备完善的研发团队,包括博士xx名、硕士xx名及本科若干名。
1) 直接调用API。厂商们会根据需要直接调用GPT、文心一言等国内外模型的API,也是最简单的集成生成式AI的方式,很多企业的软件系统都可以快速以这种方式引入生成式AI;
2) 私有化部署+模型微调。把模型厂商开放的模型部署到本地或企业云后,将其优化为一个预训练的面向企业所在领域的大模型,利用 prompt(提示词) 的方式去引导模型生成领域场景化的内容。由于数据安全的需求,目前大型企业都在用这种方式引入模型;
3) 面向特有技术或者业务模式的原生模型研究,在RPA领域这样的模型一般是面向automation的原生模型。除了引入外部AI大模型之外,目前很多厂商都已经在自有模型方面做了相应的投入与研发。同时因为当代RPA是与AI融合的产品,厂商们也在持续对相关的AI架构、模型等进行研发。
公司当前的营销模式主要是打标杆为主,深度以深圳供电局、广东省供应局以及福建省能源集团深度合作,在发电、输电、配电等场景打磨技术和产品,形成一匹有效能落地的“数字专家”。多级算力芯片协调高吞吐推理问题:目前已经有一些关于高吞吐推理的研究,但其依然仅关注于单服务器的实现,尚未有异构计算平台下的多级算力芯片联合推理的研究,而这恰恰是电力行业关心的问题。如何有效且充分的利用过往的异构芯片完成大模型的产品转型是亟待解决的问题。