需求发布 成果发布 科创案例库 揭榜挂帅
技术路演 会议展览 科创联合体 项目申报
前沿动态 科技政策 院士开讲 青托工程
科技服务团 学术资源
试点城市(园区) 双创活动周
协作站点 学会服务
问题库 项目库 开源库
English
您所在的位置: 成果库 一种数据去重方法及装置

一种数据去重方法及装置

发布时间: 2021-11-12

来源: 科创项目库

基本信息

合作方式： 技术服务
成果类型： 发明专利
行业领域：
新一代信息技术产业,信息传输、软件和信息技术服务业
成果介绍

本发明实施例公开了一种数据去重方法，包括：接收用户发送的待保存数据，按照预设单位将待保存数据切分成多个数据块，并计算多个数据块中的每个数据块的指纹；根据所述用户的用户特征从已保存的用户库中确定至少一个对比 用户，其中，所述至少一个对比用户与所述用户拥有至少一个相同的用户特征；将所述至少一个 对比用户对应的指纹作为样本对比库；将多个数据块中的每个待比较数据块的指纹与样本对比 库中的指纹进行比较；存储多个数据块中的差异数据块；其中，所述差异数据块中的每个数据块 的指纹与所述至少一个对比用户对应的指纹均二不同。本发明实施例还公开了 一种数据去重装采用本发明，可在保障重删率的前提下，减小今匀样本对比库的容量。

成果亮点
团队介绍
成果资料