元宇宙非小号金色财经交流群社区官网

如何将ViT更好地应用在下游检测任务

时间:2022-11-04 12:22:24

然后,为了进一步提高ViT的泛化能力,我们分别设计了结合对抗学习、信息论和自监督学习的三种泛化能力提升的ViT。通过研究这三种类型的泛化增强ViT,我们观察到了ViT模型针对梯度的敏感性,并设计了一个更平滑的学习策略,以实现稳定的训练过程。通过修改的训练方案,我们实现了相较于原始ViT在OOD数据下的泛化性能4%左右的提升。通过将这三种泛化增强的ViT与它们对应的CNN模型进行综合比较,得到以下结论:

从单个特征图构建多尺度特征图的策略与SSD的策略有关。然而,本文的场景涉及从深度、低分辨率的特征图进行上采样,而SSD利用了较浅的特征图。在分层主干中,上采样通常由横向连接辅助;在普通的ViT主干中,作者凭实验发现这不是必需的,简单的反卷积就足够了。作者认为这是因为ViT可以依赖位置嵌入来编码位置,并且还因为高维ViT补丁嵌入不一定会丢弃信息。

在本文的研究中,作者的目标不是开发新组件。相反,作者进行了足以克服上述挑战的最小调整。特别是,本文的检测器仅从普通ViT主干的最后一个特征图构建一个简单的特征金字塔(见上图)。这放弃了FPN设计并放弃了分层主干的要求。为了有效地从高分辨率图像中提取特征,本文的检测器使用简单的非重叠窗口注意力。少量的跨窗口块(例如4个)可能是全局注意力或卷积,用于传播信息。这些调整仅在微调期间进行,不会改变预训练。

在这项工作中,作者追求不同的方向:探索仅使用普通、非分层主干的目标检测器。如果这个方向成功,它将能够使用原始ViT主干进行目标检测;这将使预训练设计与微调需求脱钩,保持上游与下游任务的独立性,就像基于ConvNet的研究一样。这个方向也部分遵循了ViT在追求通用特征时“减少归纳偏置”的哲学。由于非局部自注意力计算可以学习平移等变特征,它们还可以从某些形式的监督或自监督预训练中学习尺度等变特征。

*摘要:在本文中,我们提出了转换图像和视觉变压器(VIT)模型的组合使用,该模型用秘密键转换。我们首次展示了经过普通图像训练的模型可以直接转换为根据VIT体系结构训练的模型,并且使用测试图像时,转换模型的性能与经过纯图像训练的模型相同用钥匙加密。此外,提出的方案不需要任何特殊准备的数据进行培训模型或网络修改,因此它还使我们可以轻松更新秘密密钥。在实验中,在CIFAR-10数据集中的图像分类任务中,根据性能降解和模型保护性能评估了提出方案的有效性。

ViTDet这个工作系统地探讨了如何将ViT更好地应用在下游检测任务,它不直接对改变原生ViT的预训练过程,而是在适应下游任务上做适当地改进,并实现了和层级ViT模型类似甚至更好的性能,而且也证明了MAE预训练对性能的提升所起到的巨大作用。

标签:原油检测 珠宝检测 古董检测 黄金检测 检测个股

本站分享的区块链、Web3.0元宇宙、NFT、数字藏品最新消息等相关数藏知识快讯NFR资讯新闻,与金色财经非小号巴比特星球前线Btc中国官网无关,本站资讯观点不作为投资依据,市场有风险,投资需谨慎!不提供社区论坛BBS微博微信交流群等相关币圈信息发布!
声明:本站内容来源于网络,如有侵权请即时告知,我们将即时删除!