（映维网Nweon 通过热成像来估计环境物体的相对温度.热图像的像素可以为热强度值编码,这个值表示热摄像机从环境对象接收的热能量的相对量。计算机系统可以用于促进显微视觉,在微光环境中识别和突出显示对象。
为了说明这一点，图1A说明了夜间的现实环境,包括用户102。现实世界环境还包括各种人类物体104A、104B和104C,还有车辆106和热源108。由于热源发光，所以在现实环境中很容易看到,但是,在真实世界环境中其他物体和特征很难看,或者根本看不见于人类。
然而,用户102可以配备头部安装的显示装置110。 视觉可以拍摄真实世界的环境。 例如,头部lamp可以包含一个热摄像机,该摄像机是配置以接收和编码真实世界环境对象的热能。
根据热摄像机的输入,头灯可以产生热图像,热图像中的像素值与像素拍摄的现实世界环境对象的相对温度值相符。通过在近视显示器上显示这样的热图像,头灯使用户能够更清晰地看到在现实世界中难以感知的物体。
如图所示，图1B包含与显示图像116相对应的四个独立显示像素的像素值118。在所述示例中，相对较高的像素值与相对较高的温度值相符,它在显示图像中也具有浅影的视觉化.但在其他示例中，相对温度值可以通过其他适当的方式直接显示在图像中。
在图1B的示例中，热图像是灰度图像，相对较高温度的物体则比相对较低温度的物体显示浅影。在实际示例中，人工的颜色梯度可以用于绘制热图像,使相对温度的差异更加明显.例如，相对寒冷的温度可以变为蓝色,更暖的温度可以以红色染色。
然而,虽然这种颜色能够有效地吸引用户注意环境中最热的对象,但从用户的角度来看,最热的对象可能并不总是最有趣的或最重要的。
例如在图1B中，热源108具有最高的相对温度,所以使用最轻的阴影。因此，热源108可能比人类104A-104C和车辆106更容易被使用者看到。然而，为用户102,人类和车辆的可视性比热源的可视性更为重要。尤其是在军事或安全应用中。
微软在一项名为“目标色彩化”的专利申请中,为目标对象引入了选择性色彩技术。
具体地，计算系统可以接收输入图像,一个输入感兴趣的像素组被分类为具有识别类别的对象。例如，有兴趣的对象可以是人类的对象。然后，计算系统可以生成与输入图像相符的显示图像,显示图像具有与输入兴趣像素集合相符的兴趣像素.在显示之前，计算机系统可以使用基于感兴趣对象的识别类别所选择的颜色来显示感兴趣的像素。
例如，与检测到的人类相符的像素可以以相同的颜色被染色,不管人类的温度与周围环境中的其他物体相比如何。通过这种方式，它能保持与热图像相关的低光可视性的优势,同时,它可以视觉上强调被认为更重要的对象,不管其温度如何。
图2显示了图像彩色的示例方法200。在202，方法200包含包含多个输入图像像素的摄像机输入图像.如图3所示,图3再次显示输入图像300,显示真实世界环境100。输入图像可以由包括一个或多个摄像头的任何适当摄像机系统接收。
值得注意的是，输入图像可以与显示图像的后续颜色和视觉呈现相同。所以，生成显示图像可以包括捕捉到的输入图像的颜色,并/或在输入图像上进行其他后处理。但在其他示例中，显示图像可能与输入图像不同,它可能由不同的摄像机拍摄。所以，生成显示图像可以包括捕捉显示图像,类似于输入图像。
例如，输入图像可以是可视光图像,显示图像可以根据敏感于无形光波长摄像机的输出生成。如上所述，显示图像可以通过热摄像机摄取的热图像,在这种情况下，无形波长可以包括红外(IR)光。因此在各种示例中，输入图像是可视光图像,显示图像是热图像,或者输入图像是热图像,显示图像是可视光图像。在输入和显示图像不同的情况下,可以执行图像注册以同步输入和显示图像,这减少了由于摄取输入图像和显示图像的摄像机之间的物理隔离所引起的任何视觉扭曲效应。
无论如何,输入和显示图像都可以通过任何适当的摄像机捕捉,如图4所示。
不管输入图像的性质和用于捕捉输入图像的相机类型,输入图像可以进行分析,以检测感兴趣的对象。
因此请返回到图2，在204，由机器学习训练的分类器将一个或多个输入图像像素分类成一套与感兴趣对象相符的输入有趣的像素。"输入利益像素"指由分类器识别的任何像素,作为一个输入图像,以描绘一个感兴趣的对象。输入利率像素设置可以以任何适当的方式定义,例如,定义封闭利益对象的边界帧的像素网格,或者识别一个不规则的像素块来描述一个感兴趣的对象。
图3说明了感兴趣的对象的识别。如图所示，应用机器学习训练分类器302对输入图像300,将输入图像的输入图像像素分类为与感兴趣对象相符的输入兴趣像素集合。具体而言，分类输入兴趣像素是描绘人类主体104A的像素(这个例子中感兴趣的对象),而306类兴趣对象的标识包括人类。
在一个实施例中，在同一输入图像中可以识别多个有趣的对象。换言之，机器学习训练器分类器可以将一个或多个图像像素分类为与第二个感兴趣对象相对应的第二组感兴趣的像素。第二个感兴趣的对象可以与第一个感兴趣的对象具有相同的识别类,或具有不同类型的识别。
在图3的示例中，机器学习训练分类器将输入图像的额外图像像素分类为额外输入兴趣像素集合。具体地，人类主体104B也被分类为有趣的对象。它具有与人类主体104A306相同的认可类别。车辆106类别是另一个令人关切的问题,它有不同的识别类别,包括车辆304。
任何适当的机器学习和/或人工智能技术都可以用于实现由机器学习训练的分类器。图7显示了适当的机器学习和/或人工智能技术例子。通常，机器学习训练的分类器可以采取适当的软件模块的形式。其中，软件模块接收一个或多个图像作为输入数据,确定一个或多个图像中的像素设置与一个或多个有趣的对象相符。
在各种示例中，不同的机器学习训练分类器可以用于识别不同类别的感兴趣对象,和/或可用于不同类型的输入图像。另外，专利主要假设机器学习训练的分类器将应用于输入图像。在输入和显示图像不同的情况下,当一个或多个机器学习分类器被应用于输入和显示图像时,可以改进对感兴趣的对象的检测。换句话说，相比于只使用一个图像类型,将热图像数据与可见光图像数据结合使用可以改进对感兴趣的对象的检测。
回到图2，在206，生成包含与多个输入图像相对应的多个显示图像的显示图像.如上所述，“生成”显示图像可以包括捕捉显示图像或从另一个来源接收显示图像。生成显示图像也可以包括处理输入图像。如果输入图像与显示图像相同,在捕捉输入图像时生成显示图像.图1B的图像116是显示一个图像的例子,它与图3中的输入图像300相符。
如上文所述,每个多个显示图像像素都有一个像素值,该值是根据显示图像所拍摄的实世界环境中的某物体的相对温度值确定的。
如果输入图像和显示图像相同,显示图像像素与输入图像像素相同。然而，在输入和显示图像不同的情况下,多个显示图像像素仍与多个输入图像像素相符,这样显示的图像像素包括一个或多个显示感兴趣的像素集,显示兴趣像素与输入图像中标识的任何输入兴趣像素集合相符。
换句话说,计算系统确定或保持一个映射,将每个单独的输入图像与描述真实世界环境的显示图像的同一部分关联。
图5显示了输入图像500A和相应的图像116的500B,每个图像都显示了人体对象104A。 在计算机设备图像识别部分中,500A和500B之间有多个像素到502的像素。
这种 交流 可以 以 任何 适当 的 方式 加以 确定 。如上所述，输入和显示图像可以通过单独的摄像机(例如410和412)捕捉。在这种情况下，您可以执行图像的排列,以匹配两个图像,并减轻由于两台摄像机的移动所引起的视觉障碍.
例如，当两个摄像机的相对位置和感知已知时,每个被摄像机捕捉的图像的像素可以投影到公共参考帧中。以这种方式，可以确定一个图像(例如图像300)的像素与另一个图像(例如图像116)的现实世界特征相符。
回到图2中,在208,颜色被应用于感兴趣的像素集合的显示,使用基于感兴趣的对象的识别的类选择的颜色来给出颜色显示图像。 注意,所选择的颜色是独立于感兴趣的对象的相对温度值,由感兴趣的像素的像素值给出。
图6所示。图6显示了600个彩色显示图像的例子。具体地，图600是图6所示的图116的颜色版本。着色后，人类104A现在以白色显示,而着色前，使用灰色填充模式,根据人体相对温度和其他物体的实际环境。换句话说，假设图6是灰度图，白色用来表示感兴趣对象的颜色。在其他实施例中，使用明亮或对比的颜色是很有用的,提高有关对象的可视性,与图像的其他部分相比。
值得注意的是，尽管人类的104A在图像600中被彩色了,但图像的其他元素没有颜色。特别地，热源108仍然显示了一个光填图,表示其相对较高的温度与其他物体在真实世界环境中。类似地，地面、树木、天空和背景的山峰仍然使用与非彩色显示图像一样相对黑暗的图案显示。因此，彩色显示图像仍然传达物体在现实环境中的相对温度的信息,同时, 更多 的 注意 被 确定 为 更 重要 的 感兴趣 对象 。
在一个实施例中，在图106中,人物104B和车辆106同时被彩色。由于人类104B具有与第一个感兴趣对象(即人类104A)相同的识别类别,所以人类的104B也可以被显示为白色,表示它使用相同的选定颜色。相比之下，车辆106有不同的识别类别,因此,颜色是使用不同的选择颜色进行的。如图6所示，你可以使用这个板来填充图案。同样，假设图6是灰度图，灰色填充模式被用来代表不同的颜色.
图3的输入图像300显示人104C与人104A和104B不同。在这个示例中，人类104C被机器学习训练的分类器 302分类为306类。这是因为人类的104C部分被树木覆盖,这妨碍了分类器将其识别为人类。然而，在图1B所示的图116中,假设每个人物都有相似的相对温度值,人类对象104C被显示为灰色填充模式,其灰色内容与人类对象104A和104B相同。
假设具有相似的相对温度值的对象可能符合相同的识别类,即使部分被阻塞,计算系统也能识别人类104C为另一个有趣的对象。
换言之，计算系统可以在第一组感兴趣的像素(例如人对象104A)的阈值相似度中确定第二组感兴趣的像素(例如人对象104C)的相对温度值与第二组感兴趣的像素相符。然后，感兴趣的像素可以适当地为新确定的显示颜色.例如在图6中，正如人们所描绘的104A和104B一样,人类对象104C显示的兴趣像素可以被彩色为白色.
任何适当的相似度阈值都可以使用。例如，计算系统可以使用90%的相似度阈值。另外，在识别新感兴趣的对象之前,计算机系统可以考虑除了热相似性以外的信息,而这些对象不会被机器学习教练识别。作为示例，计算系统可以考虑显示的像素块的大小和/或形状。
换句话说，如果显示像素块具有与已标识的感兴趣对象的高热相似性,但尺寸和/或形状明显不同,考虑的显示像素块不太可能与同一识别类别感兴趣的对象相符。相比之下，如果尺寸和/或形状相对相似,匹配的可能性相对较大。
在一个实施例中，根据第一个感兴趣的对象,确定了第二个感兴趣的对象的热相似性,与第二个感兴趣对象相对应的第二组感兴趣的像素可以作为分类器用于重新训练机器学习训练。一般来说，机器学习训练分类器可以用于监督或不监督的学习训练训练数据集。因此，第二组感兴趣的像素可以添加到训练机器学习教练的训练数据集。它使得有可能在将来不依赖于热相似性的情况下识别类似感兴趣的对象。
微软专利 | 兴趣对象色彩化
微软的专利申请题为“interest object coloriza”最初于2020年12月提交,它由美国专利和商标局(U.S. Patent and Trademark Office)早些时候出版。需要注意的是，这只是专利申请,目前尚不清楚微软是否或什么时候将进行商业化。