若干着陆应用优先开发可靠和可信赖的神经网络模型。例如,在自动驾驶的情况下,正确承认道路上出现的众多目标将确保汽车正常行驶。因此，开发一个能够探测分配外目标的目标探测器是非常实际的。麦迪逊和威斯康辛大学微软研究所为这一职位作出了贡献。介绍了一个空间时间目标蒸馏(空间-时未知蒸馏)框架。STUD），它能够从大量未上市的电影中发现一个未知的目标。它还将原目标测试模式的决定限制规范化。在OOD目标方面,研究组现已取得SOTA业绩。2022年《民事登记和人口动态报告》会议期间也提供了这些文件。
大不列颠及北爱尔兰联合王国代表(代表77国集团和中国)发表了一项声明。 此项目是我们特别报导全球之声Online.com/detating-wisc/stud的一部分。
一、动机
目前正在确定目前的目标测试任务。在整个示范培训和测试阶段(正在进行中),目标类别之间需要有一致性。但是在一些情况中，该模式不可能实现培训阶段从未见过的目标。它将与其他目标一样,以同样程度的确定性得到承认。这是因为在建模培训期间,不能考虑非分配类别不可预测性。近年来,政府一直在努力减少互联网培训方面的错误。因此,网络只能建立在培训类别中。例如上图（a）中，在其中一个自动驾驶序列中目标探测器探测到一只鹿行人。在开放世界,这种类型的例子有几个。实际的视觉应用程序也遭受同样的命运。为了应对这种情况，很难用更精确的数据标出复杂的假设情况。一种可能性是使网络能够自己发现未知目标。扩大现有的决策限制,以包括新的目标群体。
基于此，蒸馏对提交人产生了影响。我创造了一个时间和空间蒸馏的框架。它由两部分组成。(1) 从相机数据中检索到若干不明目标。(2) 将探测器正规化,并提取出不明目标首先从在线空间和时间组合的特征空间中选择未知目标。不确定的测量是加权的。后者主要是通过引入一种未知感官目标功能(未知交易活动)来实现的。此函数优化模型的决定边界 。这使模型能够为分布类别生成更高的概率分数。为了减少OOD类别的得分,因此,在整个测试阶段,都实现了高效率的OOD性能。
二、本文方法
STUD方法分为两个分支,其中一个分支负责完成例行目标探测任务,另一个分支负责确定新的目标类别和正规化模式,两个分支经过联合培训,分享地物提取器和预报头,如下图所示。
发现不明目标是该方法的主要行动。这是首次使用模型来规范目标不明的模型。为了达到这一目的，作者首先获得大量未贴标签的视频数据。而不是图片数据，这是因为录像片段包含大量时间序列信息。这有助于模型的蒸馏过程值得注意的是，在目标(实例)一级,进行了目标蒸馏试验程序。而不是像以前OOD操作时那样计算和测试异常图像水平。也就是说，在每一框架中,对于已知类型的项目,STUD 将创建匹配的 OOD 参考集 。但是,以这种方式存在目标不明的问题太多。例如,下面的图画将汽车描述为一个众所周知的类别。广告牌、树木和摩天大楼等物品不属于汽车类,被视为不明目标。毫无疑问,这增加了未知样品的复杂程度。这也使识别未知样本的不确定性对模型更具挑战性。为了解决该问题，作者通过综合分析视频数据空间和时间方面的未知目标来解决这一问题。
二.1 未知的时间和空间目标蒸馏
在空间维度上，作者首先决定一个关键框架和一个参考框架。同样如上图所示，在关键框中,针对每个已知类别项目,它首先使用线性组合使用框架中的所有目标组成。 ，然后用差别测量法来加权。样品的特性和获得的距离用来计算差异:
上述图象右侧的参考框架提供了差异的测量。有街灯和广告牌。汽车的差别比较明显。随后，作者平均加权了参考框架中所有未知物品的属性,使其与未知目标特征相提并论。其中，加权数的定义是前一步用于计算差分测量的标准化指数。详细计算公式如下：
STUD空间层面未知的目标蒸馏方法只对一个参照基准起作用。提交人还增加了时间因素。参照框架是按关键框架之后的一连串框架设定的,现在是时候了。必须掌握更多时间层面的信息多样性。我们还在考虑自动驾驶方案车辆以破损率行驶。我们考虑的帧越多，模型可以看到其他未知的东西。例如,公路两侧都有更多的树木、房屋和岩石。例如，提交人随机选择了该地区的框架。然后将框中显示的不明的签字矢量链接起来。使用差异计量公式,计算关键框中项目与项目之间的差异。然后以同样的加权方式以空间尺度估计未知目标的属性。这是根据参考框架 合成的不明目标这种时间合并办法能够利用许多框架来寻求更加重要和多样化的未知目标。
在穿越时间和空间并发现一个以前未知的目标之后必须采取一项关键行动。这是过滤参照框架中发现的所有目标的过程。这些过滤器要么是公认的物品类型,要么是背景噪音物体。他们如果不被过滤,他们必定被过滤,模型可能会混淆对象和未承认的已知类别类别。因此,在整个培训阶段,基本OOD模式很容易被同化。为了防止这种情况，为了过滤所有目标,作者提出了能源计算方法[1]。结果表明，使用能源碎片可以有效地过滤某些混泥样品。
未知视觉目标函数 2
在研究、技术和政策分析部的这一结构中,损失功能分为两部分。目标经常发现一些伤害。未知传感器目标功能是另一个组成部分。此函数的任务是从目标检测到它的能力中学习。对模型进行正则化，正规化的目的是减少已知目标类别的不确定分数。不明类别的目标具有很高的不确定性评级。总体目标职能的定义如下:
对于未定意义的目标功能,提交人利用过去的工作成就[2],此损失函数比较了构成不确定性分布的表面。这就是我们如何改进将已知的和未知的OOD目标分开的办法。具体的做法是，利用上述能源分数和蒸馏产生的未知目标参数,它们作为一个组被送入逻辑回归分类器。对于已知类别目标,分类器产生更大的分类概率。降低不明目标的分类概率损失详细计算如下：
关于YouTube-VIS数据集,提交人还注意到不确定性增加,培训曲线丧失。 [3]以及已知和未知类别的能源分数分布。可以观察到未知和已知的目标类别,在那里,科学、技术和政策分析部可以正确吸收和从蒸馏中分离出来。
在完成模型蒸馏培训之后,即作者在测试步骤期间确定了一个不确定性阈值,这样就可以定期利用目标探测器先前的分类头和边界框架回归,预计大多数已知类别的目标。
三、实验效果
这个员额的实验利用了四个大型视觉数据集。BDD100K和YouTube-VIS视频数据集接受了空间蒸馏培训。此后,对MS-COCO和nuimages目标探测图像数据集进行了OOD测试。在开始实验之前，提交人仔细地清理了数据。为了避免已知类别目标和未知OOD数据之间的语义重叠。作为评估指标,本文使用AUROC和MAP作为评估指标。下表将现行方法的绩效与替代基准技术的绩效作了比较。
结果表明，学习成绩优于其他人这是因为大多数替代基准方法完全依赖已知数据类别培训的目标测试模型。他们没有成为不明目标的目标,但不会成为不明目标的目标。这种培训程序将更便于对OOD数据作出更有信心的预测。另一方面,研究组很好地利用了以前未披露的这一数据。
此外，此外,提交人还进行了一些视觉比较和评论。下图描述了一个未知目标(顶部)和一个STUD(底部)的OOD探测影响。可以看到，STUD 超过标准目标探测器在识别 OOD 对象(通过绿框架标签)方面的性能。同时,发现目标的误报事件可能会减少。
四、总结
OOD任务从图像分类领域引入到该员额的目标测试区域。还提出将STUD作为一种有效的时间和空间未知目标蒸馏框架。STUD可以充分利用视频序列中包含的大量时间和空间信息。这导致大量先前未知的数据被检索。这些样品证明对加强已知类别和未知类别之间的决策边界非常有用。模型能够有效地从外部感知OOD数据。作者们还希望,他们的研究将激励社区创造新技术,深入了解现实世界的预期目标。
参考文献
[1] Weitang Liu, Xiaoyun Wang, John Owens, and Yixuan Li. Energy-based out-of-distribution detection. Advances in Neural Information Processing Systems, 2020.
[2] Xuefeng Du, Zhaoning Wang, Mu Cai, and Yixuan Li. Vos: Learning what you don’t know by virtual outlier synthesis. Proceedings of the International Conference on Learning Representations, 2022.
[3] Linjie Yang, Yuchen Fan, and Ning Xu. Video instance segmentation. In 2019 IEEE/CVF International Conference on Computer Vision, ICCV 2019, pages 5187–5196, 2019.
7_是作者。
Illustration b y Igor Kapustin f rom i cons8
-The End-
本周上新！
扫码观看！
关于我“门”
Gate是一个新的创造性组织,强调技术驱动的创业企业的发现、发展和投资,重点是创新服务、技术界和风险资本。
创始团队由中国最初的微软创新者团队成立,该团队在2015年底培养了126个新的技术创业企业,以获得微软的偏好和深度。
如果您是一个技术创业者, 不仅寻求融资, 也寻求一系列持续且有用的投资后服务, 请发电子邮件或将下列项目称为“ 门” :
bp@thejiangmen.com
要与朋友分享文章,请单击右上角的共享按钮。
输入 TechBeat 快乐星球的钥匙之一