您所在的位置: 成果库 大数据语义智能分析关键技术及应用

大数据语义智能分析关键技术及应用

成果类型:: 发明专利,软件著作权,著作权

发布时间: 2022-08-22 14:43:15

科技成果产业化落地方案
方案提交机构:“科创中国”人工智能专业科技服务团| 中国人工智能学会 | 2022-08-22 16:18:42

NLPIR是自主可控的跨平台自然语言处理的全链条语义分析工具,主要成果形式包括NLPIR语义分析客户端工具、跨平台的API二次开发接口与NLPIR语义云等,全方位支撑国产自主可控在内的各种环境下的语义分析。

本成果的关键技术可以应用在社交网络的数据中,直接作用于国家安全领域、社会治理领域、企业发展和个人科研领域,有效的提升了对国家安全的保障,促进了社会治理能力和效益的提升。 本应用平台已经完成了所有的自然语言处理的基础功能,通过调用 API 的方式,研究人员可以很容易的加入到他们的算法中。这样,用户可以只需要专注自己对相关算法的研究,不需要考虑底层的问题,从而提高对文本处理技术。

本项目解决的关键科学问题是:社会媒体大数据挑战下的语义智能计算问题。我们研究的对象是以 TwitterFacebook、微博、微信为代表的社会媒体大数据,其本质特征是规模巨大、实时变化、语言随意、主体鲜明与知识低密。当前主流的语义智能分析主要以规范长文本新闻为研究对象,尽管取得了较好效果,但无法解决新型社交网络的语义智能计算问题,主要不足表现为没有考虑社交消息语言特点计算精度差;没有重复考虑效率问题,无法应对在线大规模实时消息流量;没有考虑知识抽取,无法高效获取有价值情报;没有考虑社交媒体消息主体性强的问题,无法与社交主体进行有效表征与处理。

1 张华平 高级 北京理工大学平台整体架构设计,分词、新词算法的实际研发者,各类算法的C语言实际实现,NLPIR平台创始人2 商建云高级 北京理工大学 NLPIR Parser平台实现3 张宝华初级 北京理工大学 NLPIR情感分析算法及中间件实现4 刘鹏 总经理 人民网科技(北京)有限公司 NLPIR文本脱敏算法及中间件实现5 骆曦 中级 北京理工大学 文本聚类算法及中间件实现6 李玉岗 高级 北京理工大学 文本分类算法及中间件实现7 董诚 工程师人民网科技(北京)有限公司 社交群体发现算法及中间件实现8 杨耀飞技术总监 灵玖中科软件(北京)有限公司 NLPIR私有云服务部署开发9 赵青青初级北京理工大学 目标情感分析算法及中间件实现10 刘维康初级 北京理工大学 关键词提取算法及中间件实现11 高玉箫初级 北京理工大学 命名实体识别算法及中间件实现12 蔡佳豪初级 北京理工大学 关键词提取算法及中间件实现等

在国家层面,NLPIR 平台已经服务于中央网信办、国家计算机网络与信息安全管理中心、公安部、宣传部、纪委、审计署、军方等国内要害部门,极大程度提高了其文本处理能力,为国家安全做出了贡献。

在企事业方面,服务企事业方面 NLPIR 也出口到美国 NCR、新闻集团、意大利 ExpertSystem 公司、韩国 RSN 公司、日本 NEC 与日立、新加坡南洋理工大学等国际知名机构。与华为、人民网、长安汽车也建立了合作,提高了其语义处理能力,间接服务了近十亿用户。

在科研方面,LPIR 无偿提供在线分析平台和免费授权供广大自然语义处理的研究人员使用,就百度学术和知网对 NLPIR/ICTCLAS的引用量已经均超过 1000Github start 量和 Fork 量也均超过 1000为科技进步做出了贡献。

在个人方面,NLPR 的在线演示平台和 windows 应用程序可以直接供个人使用,NLPIR 的全球直接用户超过 50 万。为个人的研究提供了很好的服务

大数据语义智能分析的平台层,构建了自主可控的 NLPIR 大数据语义智能分析平台,主要成果形式包括 NLPIR 语义分析客户端工具、跨平台的 API 二次开发接口与 NLPIR 语义云等,全方位支撑国产自主可控在内的各种环境下的语义分析。支持多语言、多平台调用。

NLPIR 平台由多个语义大数据智能分析中间件组成,各个中间件 API可以无缝地融合到客户的各类复杂应用系统之中,可兼容 WindowsLinuxAndroid,Maemo5, FreeBSD,中标麒麟等不同操作系统平台,支持 IntelAMDArm、飞腾、鲲鹏、龙芯等 CPU,可供 JavaCC#Python 等各类开发语言使用。

大数据语义智能分析的应用层基于 NLPIR 平台,先后开展了以国家网信办不良信息内容过滤为代表的国家安全方面、以北京市长信箱分析、舆情分析为代表的社会治理方面,以及以华为手机智能客户端为代表的的社会服务方面均有较好的应用。