您所在的位置: 成果库 一种无监督的通用艺术字生成方法

一种无监督的通用艺术字生成方法

成果类型:: 发明专利

发布时间: 2023-10-26 16:22:50

科技成果产业化落地方案
方案提交机构:天津市滨海新区| 宋学姮 | 2023-11-02 09:22:46
本发明公开一种无监督的通用艺术字生成方法。该方法包括:构建通用艺术字生成模型,包括编码器、第一解码器和第二解码器;优化通用艺术字生成模型,优化过程包括去纹理化阶段、字体迁移阶段和纹理化阶段,在去纹理化阶段,输入图像为字体参考图像,经过编码器和第二解码器后去除掉该字体参考图像所带的纹理信息,得到对应的掩膜图像;在字体迁移阶段,输入图像为内容图像和去纹理化阶段得到的掩模图像,经过编码器和第一解码器后得到对内容图像做字体迁移后的图像;在纹理化阶段,输入图像为字体迁移阶段得到的图像和纹理参考图像,经过编码器和第二解码器后得到纹理化结果图像。本发明可以实现在艺术字生成过程中的精细调节且通用性强。

1.一种无监督的通用艺术字生成方法,包括以下步骤:构建通用艺术字生成模型,包括编码器、第一解码器和第二解码器;优化所述通用艺术字生成模型,优化过程包括去纹理化阶段、字体迁移阶段和纹理化阶段,其中:在去纹理化阶段,输入图像为字体参考图像,经过所述编码器和第二解码器后去除掉该字体参考图像所带的纹理信息,得到对应的掩膜图像;在字体迁移阶段,输入图像为内容图像和去纹理化阶段得到的掩模图像,经过所述编码器和第一解码器后得到对内容图像做字体迁移后的图像;在纹理化阶段,输入图像为字体迁移阶段得到的图像和纹理参考图像,经过所述编码器和第二解码器后得到纹理化结果图像。2.根据权利要求1所述的方法,其特征在于,在优化所述通用艺术字生成模型过程中,采用图像块判别器损失函数以无监督方式学习纹理信息,并采用对比学习损失函数以无监督方式学习字形结构信息,其中,图像块判别器用于判别一个图像块是否属于参考图像块集合,所述对比学习损失函数用于反映字体参考图像和纹理化结果图像之间的损失,所述图像块判别器损失函数用于反映纹理参考图像和纹理化结果图像之间的损失。

  1. 无监督学习:使用生成对抗网络(GAN)或变分自编码器(VAE)等无监督学习方法,通过将特征提取的结果作为输入,生成新的艺术字样本。GAN可以生成更真实的样本,而VAE可以生成更多样化的样本。

  2. 生成样本评估:通过与真实艺术字样本进行对比,使用评价指标(如生成样本与真实样本之间的相似度、多样性等)对生成的艺术字样本进行评估。

  3. 模型优化:根据评估结果,对生成模型进行优化,调整网络结构、损失函数等参数,提升生成效果。

  4. 艺术字生成:使用优化后的模型,输入随机噪声或特定的条件向量,生成新的艺术字样本。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力,推动我国自主知识产权新工业的建立,成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统,由九个研究平台,国科大深圳先进技术学院,多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究,促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
  1. 数据收集:收集大量的艺术字样本作为训练数据。可以从互联网上的字体库、艺术字设计网站等地方获取。

  2. 数据预处理:对收集到的艺术字样本进行预处理,包括图像归一化、灰度化、二值化等操作,将其转化为模型可处理的格式。

  3. 特征提取:使用卷积神经网络(CNN)等方法对预处理后的艺术字样本进行特征提取。可以使用预训练的模型,如VGG、ResNet等,也可以自行设计网络结构。

  4. 无监督学习:使用生成对抗网络(GAN)或变分自编码器(VAE)等无监督学习方法,通过将特征提取的结果作为输入,生成新的艺术字样本。GAN可以生成更真实的样本,而VAE可以生成更多样化的样本。

  5. 生成样本评估:通过与真实艺术字样本进行对比,使用评价指标(如生成样本与真实样本之间的相似度、多样性等)对生成的艺术字样本进行评估。

  6. 模型优化:根据评估结果,对生成模型进行优化,调整网络结构、损失函数等参数,提升生成效果。

  7. 艺术字生成:使用优化后的模型,输入随机噪声或特定的条件向量,生成新的艺术字样本。

技术转让

无监督的通用艺术字生成方法可以生成各种风格的艺术字,可以应用于广告设计、品牌标识、书法艺术等领域。同时,该方法还可以结合用户需求和个性化要求,通过调整输入条件向量,生成符合特定要求的艺术字样本。