孟子预训练模型

孟子预训练模型是基于澜舟团队自研技术研发的大规模预训练语言模型。可处理多语言、多模态数据，同时支持多种文本理解和文本生成任务，能快速满足不同领域、不同应用场景的需求。孟子模型基于Transformer架构，仅包含十亿参数量，基于数百G级别涵盖互联网网页、社区、新闻、电子商务、金融等领域的高质量语料训练。 孟子预训练模型性能比肩甚至超越千亿大模型，在包含文本分类、阅读理解等各类任务上表现出色。相对已有的中文语言模型，孟子模型实现了多项突破性进展：实现在同等模型规模下，远超公开模型的性能。作为精巧的小模型，对标“巨无霸”，小模型性能超越千亿规模模型；使用知识图谱增强模型，让 AI 真正获得知识。孟子模型具备顶尖的语言理解能力，在权威CLUE中文理解评测的总排行榜，以及分类排行榜和阅读理解排行榜均位列第一，刷新三项榜单世界纪录。灵活的领域和场景适应能力，方便快速定制和应用。基于T5-style的端到端生成的训练范式，同步适配BERT-style的判定式架构，既能理解也能生成。便于适配行业应用，覆盖广泛业务场景。