科创中国

教育

本发明公开了基于空洞卷积和多尺度多分支的图像语义分割方法及系统，包括：通过摄像头获取待处理图像；对待处理图像进行预处理；对预处理图像分别进行并行两个分支的特征提取，其中第一个分支提取出第一特征；第二个分支提取出第二特征；对第一特征和第二特征均进行不同尺度的全局上下文特征提取，分别得到四个尺度的全局上下文特征；对八个尺度的全局上下文特征进行融合，得到融合特征；对融合特征进行上采样操作；将上采样后的融合特征输入到训练后的分类器中，输出图像语义分割结果。

而对于实时性和准确性要求更高的实时语义分割领域，一些网络结构由于骨架网络层数太多，参数量太大，而导致运行速度大打折扣，使得实时性要求无法满足。这一问题的解决主要是通过改变骨架网络结构解决的，比如ENet主体是基于ResNet，并且该网络结构中，所有卷积层channel数最高只有128，相对于ResNet50里面的2048降低了非常多，使得计算速度有了一定的提升。SQ的网络结构基于传统的先特征提取，然后再进行上采样，跟FCN差不太多，然后一起融合生成预测的方式。但是在实时语义分割的应用场景中，由于场景信息持续动态变化，其仍面临着尺度变化频繁的问题，并且现有方法通过引入空洞卷积改变卷积核的大小仍存在许多问题，比如空洞卷积扩张率太小会限制神经元的感受野，使其无法有效提取全局特征，太大又会导致学习到远距离的不相关特征并丢失近距离的细节信息。另一方面，利用更好的骨架网络能够取得更好的特征提取也就是Encoder的效果，但是相对而言计算所需要的代价就越高。浅层网络运算速度快但是特征提取效果很差，这两者难以进行一个权衡呢；所以，现有语义分割方法还不能有效解决空洞卷积扩张率和协调网络深度和运算速度的问

此技术是山东师范大学吕蕾研发，山东师范大学，位于山东省济南市，宗旨和业务范围是“面向社会培养高等学历师资人才，进行成人教育，促进教育事业发展”。

点击查看