当前位置: 首页 > news >正文

建设的网站后台会自动退出是正常的网络营销案例分析ppt

建设的网站后台会自动退出是正常的,网络营销案例分析ppt,企业信息查询平台有哪些,企业电话名录Multi-Frame Self-Supervised Depth with Transformers基于transformer的多帧自监督深度估计0 Abstract 多帧深度估计除了学习基于外观的特征外,也通过特征匹配利用图像之间的几何关系来改善单帧估计。我们采用深度离散的核极抽样来选择匹配像素,并通过一…

Multi-Frame Self-Supervised Depth with Transformers

基于transformer的多帧自监督深度估计

在这里插入图片描述

0 Abstract

  多帧深度估计除了学习基于外观的特征外,也通过特征匹配利用图像之间的几何关系来改善单帧估计。我们采用深度离散的核极抽样来选择匹配像素,并通过一系列的自我和交叉注意力来细化预测,这构成了一种新的基于transformer的成本量。这种方式可以改善歧义和局部极小值的标准相似度。方法在KITTI和DDAD上进行测试,效果良好。

1 Introduction

  特征匹配是SFM的一个基本组成部分,其被广泛的用于深度估计、自我运动估计、光流和场景流等等。这些方法依靠特征匹配建立起图像之间的跨帧的对应关系,从而建立起一个视图到另一个视图的扭曲重投影损失,从而构建了自监督约束方式。虽然从训练的角度来说,自监督方式更具有挑战性,但是自监督方法可以利用大量未标记的数据,具有更广阔的使用范围。而目前的自监督方法已经超过了一些监督方法。
  单帧深度估计和多帧深度估计虽然在训练的时候都采用多帧输入,但是单帧自监督方法在测试的时候仅需要单帧输入,而多帧自监督在训练的时候需要多帧输入,这使得多帧方法在测试时多采用了时序信息和相邻帧之间的几何关系,在指标上多帧方法也普遍高于单帧方法。但是多帧方法很依赖特征匹配来构建帧间的对应关系,而缺乏纹理、重复、光度变化和动态对象会导致模糊和局部极小值。
  本文提出了一种改进自监督特征匹配的新框架,在目标和背景图像之间建立了一个成本量,采用可微的深度离散化核极采样,并提出了一种新的基于注意力机制来细化像素间的匹配概率,所得到的多帧成本量直接通过高响应窗口滤波直接转化为深度估计值。本文的贡献如下:

  • 提出了一种新的基于transformer框架,通过交叉和自我注意力结合深度离散化核极采样来改进多视图特征匹配。
  • 我们的特征匹配细化模块可以在数据集之间传输,具有良好的鲁棒性。
  • 指标较好,超过了部分监督单帧深度估计。(这个现在已经到0.95了哦)

2 Related work

  相关工作主要从自监督深度估计、多帧深度估计和深度估计中的注意力机制三个方面来讲。自监督深度估计最早由momo提出,采用视图合成方式建立了自监督深度估计的基本框架,并添加了一个位姿网络来预测相机的自我运动,自监督单目深度估计通过一些方法已经超过了一些监督算法。
  单幅图像的深度估计本质上是一个不适定问题,因为单幅2D图像可以对应无数3D图像,单帧网络在一些对抗中会失败(这里主要讲的是19年的一篇文章,这篇文章多mono进行了评判,目的在于探究深度估计网络是怎么进行深度信息获取的。方式是采用一些数据增强方式例如骑车位姿和尺度的缩放,相机的角度和汽车的边缘和底部,以此来看深度估计网络的效果,结论是深度估计网络更看重图像中物体的垂直位置,并以此来进行深度估计,How do neural networks
see depth in single images?很有意思的一篇论文),但多帧网络通过在测试时使用多幅图像来突破这一限制。

3 Method

在这里插入图片描述
  首先描述了单目深度估计的投影和重投影过程,接着讲交叉注意力成本量的构建,主要分为极线采样和交叉注意力匹配。第一个公式是采用空间离散化分配的一个深度信息,第二个公式是从目标帧到相邻帧的一个投影过程。
在这里插入图片描述
在这里插入图片描述
  随后采用交叉注意力机制来细化成本量,下图也可以看到采用了交叉注意力后,网络估计出的深度在预测值附近相对集中。
在这里插入图片描述
  本文与其他的不同点在于,其他多帧网络在计算成本量后会直接送入解码器进行深度解码,但本文提出了一个高响应的深度解码方式,通过一个自适应的窗口来将分配的深度转化为真实的深度。但是这样的深度缺乏上下文联系(交叉注意力成本量是在极线上进行回归的),所以采用了上下文调整层来细化深度值。本文采用了额外的单帧网络以用来补全成本量体积失败的地方,这个单帧网络采用共同的姿态预测网络,在评估的时候被丢弃。
在这里插入图片描述

4 Experiments

  KITTI结果。
在这里插入图片描述
  这篇文章的工作量我个人认为还是比较大的,实验也比较详细,涉及的点也比较多,从深度估计、立体匹配、极线采样、交叉注意力和自注意力等等,还添加了高响应的自适应深度方法以及上下文调整层等等。好久没读论文了,过起来还是比较吃力的。

http://www.hrbkazy.com/news/22005.html

相关文章:

  • wp网站如何做多级联动筛选框百度风云榜电视剧排行榜
  • 像做游戏一样编程的网站网络推广外包
  • php怎么做网站快湖南seo网站多少钱
  • eclipse怎么做网站搭建网站工具
  • wordpress网站描述插件网络运营具体做什么
  • 东营做网站的公司公司网站怎么做
  • 聊城建设网站网站统计代码
  • 常用搜索网站今日国际新闻最新消息
  • 做新浪网网站所需的条件网站seo优化有哪些方面
  • 怎么快速做网站什么是百度权重
  • 给特宝网站商家网址怎样做网站关键词快速排名服务
  • 合肥外贸网站建设公司社区推广
  • 公司名称吉凶查询大吉app搜索优化
  • 怎样用文档做网站首页西安百度关键词包年
  • 黑龙江做网站哪家好百度公司官网招聘
  • 安徽php网站建设公司想做个网站怎么办
  • 专做皮具的网站seo怎么读
  • 中山快速做网站价格百度贴吧网页版
  • 网站定制的销售情况优化网站排名如何
  • 淘宝建设网站靠谱吗互联网营销师怎么做
  • 有什么网站是做企业型的夫唯seo视频教程
  • 认证网站源码电脑优化大师官方免费下载
  • 广东汽车品牌网站建设seo根据什么具体优化
  • seo静态页源码百度seo优化方法
  • 高密做网站哪家好一般网络推广应该怎么做
  • 太原seo快速排名百度推广seo怎么学
  • 网站开发就业趋势百度网盘资源
  • 重庆做网站优化网络宣传平台有哪些
  • 类似火脉的推广平台深圳抖音seo
  • 武汉平价网站建设百度爱采购优化软件