科创中国

本发明公开了一种基于EMD距离的大规模图像数据相似性搜索方法，步骤包括：设计用于映射至一维实数键值空间Ω(Φ)的图像数据映射函数f；启动作业MR1，估计Ω(Φ)中各键值的负载；启动作业MR2，通过Map任务基于所估计的键值负载对Ω(Φ)进行切割，将切割区域对应的数据分片发送给Reduce任务；基于f将各Reduce任务接收的图像数据映射至Ω(Φ)中的键值，基于该键值构建面向EMD距离的索引结构；基于该索引结构执行基于EMD距离的相似性搜索；将MR2中各Reduce任务基于EMD距离相似性搜索的执行结果取并集输出。本发明具有网络传输数据量更低、计算负载分配更均衡，相似性搜索效率更高、对大数据集分析处理可扩展性更好的优点。

针对现有技术的上述技术问题，提供一种网络传输 数据更低、计算负载分配更均衡，相似性搜索效率更高、对大数据集分析处理具有可扩展性 更好的基于EMD距离的大规模图像数据相似性搜索方法。为了解决上述技术问题，本发明采用的技术方案为：一种基于EMD距离的大规模图像数据相似性搜索方法，步骤包括：1)设计用于将图像数据映射至一维实数键值空间Ω(Φ)的图像数据映射函数f， 所述图像数据映射函数f包含图像数据和一维实数键值空间Ω(Φ)中键值之间的映射关 系；2)启动一个MapReduce作业MR1，通过MapReduce作业MR1基于查询图像集Q和待检 索图像集I估计所述一维实数键值空间Ω(Φ)中各个键值所对应的查询处理负载量；3)启动一个MapReduce作业MR2，通过MapReduce作业MR2的Map任务基于所述步骤 2)估计得到的查询处理负载量对一维实数键值空间Ω(Φ)进行切割，分别将所述一维实数 键值空间Ω(Φ)不同切割区域所对应的查询图像集Q中的图像数据分片或待检索图像集I 中的图像数据分片发送给MapReduce作业MR2中的各个Reduce任务；

基于 EMD（Empirical Mode Decomposition）距离的大规模图像数据相似性搜索方法是一种新兴的图像搜索技术，具有高效、准确、鲁棒等优点，可以应用于多个领域，具有广泛的应用前景。

在未来，基于 EMD 距离的大规模图像数据相似性搜索方法将得到更加广泛的应用，包括但不限于以下几个方面：

图像识别：可以应用于图像识别和分类领域，提高图像识别和分类的准确性和效率。

图像检索：可以应用于图像检索和图像库管理领域，提高图像检索的准确性和效率。

视频分析：可以应用于视频分析和视频内容理解领域，提高视频分析的准确性和效率。

图像编辑：可以应用于图像编辑和图像处理领域，提高图像编辑的准确性和效率。

智能安防：可以应用于智能安防领域，提高安防系统的智能化水平和安防效率。

总的来说，基于 EMD 距离的大规模图像数据相似性搜索方法具有广泛的应用前景，将在图像识别、图像检索、视频分析、图像编辑和智能安防等领域得到广泛应用。随着人工智能技术的不断发展，基于 EMD 距离的大规模图像数据相似性搜索方法也将不断得到改进和完善，为人类的生产和生活带来更多的便利和创新。

广西师范大学地处世界级旅游城市、国家历史文化名城桂林，是国家教育部与广西壮族自治区人民政府共建高校，“中西部高校基础能力建设工程项目”高校，广西重点建设的“国内一流大学”高校，全国文明校园。有王城、育才、雁山3个校区，校园面积4100多亩，各类学生50000多人，各类教职工4000多人（含离退休人员）。学校已发展成为广西教师教育的“领头羊”、人文强桂的“主力军”、科技兴桂的“生力军”、广西国际教育的“排头兵”。目前，学校正全力推进“双一流”建设和综合改革，努力实现建设国际知名、教师教育特色鲜明的国内一流大学的目标。

从互联网上爬取640万张图像作为图像数据集对本实施例基于EMD距离的大规模 图像数据相似性搜索方法进行性能评估。提取每张图像归一化后的灰度直方图用于表征该 图像的内容，即得到640万条灰度直方图数据。每条灰度直方图数据包含256个数据桶，对应 灰度空间中256个不同的灰度等级。为了测试并行算法的可扩展性，分别从图像数据集中生 成包含20万、40万、80万、160万、320万和640万的图像数据集。实验使用的集群由20台机器 组成，一台机器担任主控机(Master)，其余19台机器担任工作机(Slaver)。每台机器的配置 是Intel(R)Core(TM)i3CPU(3.10GHz)、8G内存，运行内核为2.6.32的Linux操作系统。集群 上部署的MapReduce框架是Apache Hadoop 0.20.2版本

技术转让，许可，合作所需资金需双方协商，此项技术想尽快落地保定，希望具备此项技术研发的技术方，能够尽快承接此项目。