元宇宙非小号金色财经交流群社区官网

一种新的mask引导深度精化问题

时间:2022-11-09 12:37:11

虽然在使用建议的数据生成方案获得数据对后,使用精确mask进行深度细化看起来很简单,但直接从拼接的RGB-D和mask输入预测细化的深度图会导致次优结果,如图2所示。为了明确受益于精确mask,我们提出了一种分层细化方法,分别细化由和指定的区域,并通过将连个独立的结果合并起来。这样,模型可以集中于校正每个区域中的深度值,并且在合并阶段后可以完全保留mask边界。

这一阶段使用3个损失:、和。因此,网络在统一框架下生成完整的深度图的同时,学会消除干扰。虽然我们只在训练期间使用合成深度图作为输入,但合成中的随机性(用随机的mask去合成随机的深度图)和随机扰动导致了一个鲁棒模型,该模型可以很好地推广到实际深度估计和各种mask。

虽然深度图在许多实际应用中得到了广泛的应用,但从单个RGB图像中获取清晰而准确的深度是一项极具挑战性的任务。在本文中,我们提出了一种新的mask引导深度精化问题,并提出了一种分层精化方法,该方法可以以自监督的方式进行训练。我们的方法可以在定量和定性上显著增强初始深度图。通过与mask引导深度细化基线和现有自动细化方法的比较,我们广泛验证了我们的方法。此外,我们还验证了我们的方法在具有各种mask的真实图像上运行良好,并改进了下游应用的结果。我们相信,我们的方法可以潜在地扩展到其他类型的密集预测,如法线和光流。更多结果见附录。

您好,我粗读了您的《focalclick》论文和这篇回答,有一个点还是没有弄明白,希望您能够回答:文中提到实际进行标注的过程中往往会有事先存在的mask,您们的模型可以在已有掩膜上进行修改。那么,既然您的这篇论文本身就是一个交互式图像分割的“工具”,为什么还要考虑已有掩膜并进行修改的情况呢?您的论文的模型是否可以从0开始进行交互式分割(之前无掩膜)?

常规做法是在微调之后取mask预测的词然后去之前设定好的标签映射字典找到对应预测结果,微调的反向传播会更新模型权重提高mask位置预测词的精准性。这个方法的好处就是在零样本下也可以使用,坏处就是需要找标签映射词稍微麻烦点。

由于我们的方法依赖于高质量的mask进行细化,因此其细化性能受mask质量的限制。尽管有许多自动mask工具可用,但捕获极细粒度的细节可能需要手动操作。此外,当我们的方法沿mask边界细化时,对象内部最初错误的深度值可能会保持不变。

之前的方法太重了:轻量化的标注工具不希望用又慢又大的模型,如果标注人员达到一定规模。不可能给每个标注员配GPU。之前的方法没有兼容性:由于每次需要将所有的点击作为输入,对mask的每个像素进行新的预测,之前的方法根本不能和其他工具配合。举个例子,对人像进行精细分割标注时,头发的细节需要用matting工具或者手工标注。当切换到别的工具标好了头发后,就无法切回交互式分割工具了。因为一旦用交互式分割工具打一个点,之前标好的头发区域也会被完全重新预测,相当于白标。同理,之前的方法也不能在已有的略带瑕疵的掩膜上进行修改。

标签:mask

  • 星球日报 | APT女巫地址占比超65%;MetaMask推出MetaMask SDK(10月21日

    星球日报 | APT女巫地址占比超65%;MetaMask推出MetaMask SDK(10月21日

    2022-10-21 13:33:40

    头条 数据:超过1630万枚APT已充值到币安,女巫地址占比超65% Odaily星球日报讯 根据X-explore的分析,截至北京时间10月19日20:00,币安累积有2.8万用户入金超过1630万枚APT,其...

  • Mask日内涨幅超100%!Mask疑似币安高度控盘?

    Mask日内涨幅超100%!Mask疑似币安高度控盘?

    2022-11-05 13:47:56

    聊聊今天圈内最亮的仔:Mask今天的Mask涨幅超100%!我认为Mask是币安高度控盘推出的“产物”,首先BNB、Doge、Mask基本没有什么关联性,单看这点咋看都不太合理。而且指数只是简单的价格相加,市值比例也没考...

  • 分析师认为Flasko(FLSK)优于HEX和ENJ

    分析师认为Flasko(FLSK)优于HEX和ENJ

    2022-11-15 13:19:12

    公众号:勤奋bi说加入我们:不定期有二级市场财富密码分享,并提供安全优质的一级市场投资渠道。国内外最新消息筛选速递,最新项目背景,项目概况剖析,市值预测和Coinlist平台IDO重量级项目,及其他一线公募平台优质热门项...

  • Flasko (FLSK)预计表现优于TAMA和Big

    Flasko (FLSK)预计表现优于TAMA和Big

    2022-12-20 11:25:30

    表情包硬币是基于被称为“表情包”的互联网笑话的数字货币,通常包括吉祥物。 这些代币的区块链通常是比特币或以太坊。Big Eyes Coin (BIG) 是一种新的 meme 硬币,已加入市场以响应其前身之一的狗狗币 (D...

本站分享的区块链、Web3.0元宇宙、NFT、数字藏品最新消息等相关数藏知识快讯NFR资讯新闻,与金色财经非小号巴比特星球前线Btc中国官网无关,本站资讯观点不作为投资依据,市场有风险,投资需谨慎!不提供社区论坛BBS微博微信交流群等相关币圈信息发布!
声明:本站内容来源于网络,如有侵权请即时告知,我们将即时删除!