本发明提供了一种数据处理方法及装置。数据处理方法包括:获取第一训练数据集,通过抠除第一训练图像中人物区域得到的背景图像作为第二训练图像;训练第一分类模型,使其识别人物照和非人物照;对人物照训练数据分集,训练第二分类模型,使其识别单人照、小合照和集体照;基于拍摄信息和人脸标记结果对每个子集内分组,使同一组各图像拍摄信息满足第一预定条件,且同一组各图像的人脸标记结果满足第二预定条件;根据人脸清晰度,在单人照子集、小合照子集或集体照子集中选取保留图像,以基于背景相似度选取待删除图像供用户确定;根据图像清晰度在非人物照子集中选取保留图像,以基于图像相似度选取待删除图像供用户确定。
1.一种数据处理方法,其特征在于,所述数据处理方法包括:
获取第一训练数据集;所述第一训练数据集包括多个包含人物的第一训练图像,每个第一训练图像的标签为人物照标签;
针对所述第一训练数据集中的每个第一训练图像,将该第一训练图像包含的人物区域抠除,获得该第一训练图像的背景图像,将该背景图像作为该第一训练图像对应的第二训练图像;
利用获得的所有第二训练图像构成第二训练数据集;
利用所述第一训练数据集和所述第二训练数据集训练第一分类模型,其中,所述第二训练数据集包括多个第二训练图像,每个第二训练图像的标签为非人物照标签;
对所述第一训练数据集中的每个第一训练图像中的人脸进行标记;若该第一训练图像中标记的人脸个数为1,则将该第一训练图像的当前标签更新为单人照标签;若该第一训练图像中标记的人脸个数为2或3,则将该第一训练图像的当前标签更新为小合照标签;若该第一训练图像中标记的人脸个数大于或等于4,则将该第一训练图像的当前标签更新为集体照标签;
雷锋团队是由哈尔滨师范大学14级政治与行政学院的关明贺同学于2015年9月1日建立的学生自主创立的创业团队。在黑龙江福成科技有限公司的赞助下,旨在为江北的大学生服务,让大学生过上更好的大学生活。自创立以来,雷锋团队本着为同学服务的宗旨,解决大学生生活问题为核心,为大学生提供广大的创业机会。创立后不久已成为哈尔滨江北十余所大学院校人数最多、最有号召力和影响力的学生团队组织。
评价单位:“科创中国”黑龙江科技服务团 (黑龙江省科学技术协会)
评价时间:2023-11-11
苏德峰
黑龙江省农业科学院作物资源研究所
科研人员
综合评价
技术前景广阔,具备技术成果转移转化要求。
查看更多>
评价单位:“科创中国”黑龙江科技服务团 (黑龙江省科学技术协会)
评价时间:2023-01-06
综合评价
随着基金行业规模的不断扩大,基金相关业务的数据量开始呈现爆发式增长。目前对基金相关业务的数据的计算方式为单节点集中式数据计算(集中式计算是指在网络中一个位置获取数据与进行数据计算,通常只有一个线程执行计算任务),然而,采用单节点集中式数据计算已无法满足数据处理的高时效要求。
查看更多>