基于两阶段代价矩阵和动态注意力的双目立体匹配网络
作者:
作者单位:

同济大学 电子与信息工程学院,上海 201804

作者简介:

王志成,教授,工学博士,主要研究方向为模式识别、计算机视觉。E-mail: zhichengwang@tongji.edu.cn

通讯作者:

王泽灏,硕士生,主要研究方向为双目立体匹配。E-mail:2033063@tongji.edu.cn

中图分类号:

TP391.4

基金项目:

中国国防基础研究项目(JCKY 2020206B03)


EDNet++: Improving Stereo Matching with Two-Stage Combined Cost Volume and Multiscale Dynamic Attention
Author:
Affiliation:

College of Electronics and Information Engineering, Tongji University, Shanghai 201804, China

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    目前大多数先进的双目立体匹配网络通过构建4D代价矩阵以保留图像的语义信息,增加了网络的计算量开销。为了解决上述问题,提出了两阶段的组合代价矩阵和多尺度动态注意力的EDNet++网络。首先从全局的、粗粒度的视差搜索范围上构建的基于相似度的代价矩阵作为引导,在局部的搜索范围上实现细粒度的组合代价矩阵,其次提出基于残差的动态注意力机制,其根据中间结果信息自适应地生成空间上的注意力分布,并且通过迁移实验证明了该方法的有效性,最后在各大公开数据集上的对比实验结果表明,相较于其他方法,EDNet++方法能够达到算法精度和实时性的良好平衡。

    Abstract:

    Most state-of-the-art stereo matching networks construct 4D cost volume to preserve the semantic information of the image, which increases the computational cost of the network. To solve this problem, a network named EDNet++ with a two-stage combined cost volume and a multi-scale dynamic attention is proposed. First, a correlation cost volume is constructed based on global and coarse-grained disparity search range, which is used as a guide to construct a fine-grained combined cost volume on the local disparity search range. Then, the dynamic attention mechanism based on residuals can adaptively generate spatial attention distribution according to the intermediate result information, and the effectiveness of this method is proved by the transfer experiment. The comparison experiments on various public data sets show that EDNet++ can achieve a good balance between accuracy and real-time performance compared with other methods.

    参考文献
    相似文献
    引证文献
引用本文

王志成,王泽灏.基于两阶段代价矩阵和动态注意力的双目立体匹配网络[J].同济大学学报(自然科学版),2024,52(10):1640~1648

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-11-21
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2024-11-01
  • 出版日期:
文章二维码