（映维网Nweon 通过热成像可以估计环境中的相对物体的温度.热图像的像素可以为热强度值编码,表示热摄像机从环境对象中接收的热能量的相对量。根据所接收的热辐射量的不同,可以区分哺乳动物和非生活背景物体。然后，可以根据相对强度值进行热图像的色调,以便于对象识别。
作为示例，图1显示用户100通过头部安装显示系统查看样品环境102。用户100是基于由头部安装显示系统104检测到的热成像设备。环境102包括112、114、116、118楼及120门等特点,它还包括书架122、沙发124、咖啡桌126、咖啡杯128、人 130和门柄132。
102号环境中最热的物体以白色显示,包括人130和咖啡杯128。尽管在标题中显示的热图像清楚地显示用户100的有关对象,但其他无生命和寒冷的物体和特征(以灰色表示)是无法识别的(或更难以识别的)。这可能使用户很难在环境中导航,例如,你会撞到墙上或撞到墙上。
为了解决这一问题,微软认为热成像可以通过对比度增强,然而,如果没有适当的颜色映射,对比度增强的图像可能在场景的更冷的部分中丢失细微细节或饱和更温暖的对象。
如果你只是提供增强的对比度,例如,在黑暗的背景中亮亮物体,然后可能丢失现场物体的相对强度或温度信息。如果根据感知温度,将颜色应用到增强的对比图像上,然后一个特定的背景对象可以被染色,而且目标的未来信息可能会丢失。实际上，应用局部对比度增强将破坏全球场景信息,因此用户无法识别图像中最热的像素。
用于增强现实和虚拟现实应用,重要的是生成支持用户查看相关功能的图像,并成功地移动它们在他们的环境中。高动态范围图像将包含相对低强度的区域和相对高强度的区域。一种提供对比度和颜色的单管线方法,在提高环境中的对比度时,往往会混合背景中的高强度对象。
因此,在题为“ Contrast增强图像”的专利申请中,微软表示,它不会在单一管道中执行对比增强和人工染色,相反,基于强度的线性图像数据处理被分成两个管道。使用单个管道时，你可能无法获得所需场景的对比度,而且/或某些场景中的物体可能被错误地染色。相反，图像可以在第一个管道中进行对比,在第二个管道中,图像被人工染色。然后，可以将两个结果图像和/或至少部分图像结合成高对比度图像,最高强度的像素是彩色的.
这样, 人工的颜色在没有增强的图像上进行.因此，结果保持高强度图像区域和对象,并且它可以作为目标对象展示。同时，整个场景都有增强的对比度,这不仅对用户有较好的视觉效果,并且没有错误的颜色背景对象。
有效地从场景图像中提取高强度的物体(如热图像中的人物)并进行准确的彩色,然后重合到场景图像中.这生成了一个高对比度图像,保留了原始的强度信息。该方法支持各种对比度增强方法和颜色方法,只要结果图像可以重新组合.两条管道可以共享两个分支方法所要求的计算,这提高了效率,并允许实时图像处理。
图3说明了数字图像增强的示例方法300。
在310，方法300包括基于接收环境强度的线性图像.例如，方法300可以包括热摄像机在现实环境中接收的热图像,热量图像的多个像素中的每个像素的热强度值。基于强度的线性图像可以从任何提供每像素强度值的图像设备接收。而不管频率范围。
如上所述，热摄像机可以在计算机设备中集成到一个或多个执行方法的步骤中,它不只是图像捕捉。或者，热摄像机可以是一个独立的摄像机,或者一个单独的摄像机系统组件。因此，一个或多个配置实现方法300步骤的计算设备可以从远程摄像机接收热图像(和/或其他图像)。
接收的线性基强度图像可以是直接从光学传感器接收的原始图像和经过一定时间处理的原始图像数据。例如,应用数值增益和/或固定模式噪声除去。然而，接收的线性基强度图像可能没有对比增强,或彩色化处理，或改变数据线性或处理高动态范围图像的任何其他。
有时候，相对较高的辐射强度值可能与图像场景中相对较多的热能产生区域相符。一般来说，热摄像机可以包括任何配置以接收和编码环境对象的热能(例如红外光)的影像系统。在一个示例中，热摄像机可以在其他光学元件安装在热摄像机之前包括辐射计。
同样,在内置时,可视光和深度摄像机可以采取任何适当的形式,例如,深度摄像机可以是一个结构的光深度摄像机或飞行时间深度摄像机。
基于强度的线性图像可以采取任何适当的数据结构形式,包括多个强度值,从而编码图像设备从环境对象接收的辐射能量。
可选地，在320处，方法300包括接收环境的显微图像.例如，图像可以通过显微镜摄像机模块捕捉.在一个示例中，利用线性基强度图像与环境的定位偏移,可获得低光度图像。并且可以应用适当的校正以匹配这两个图像。低光度图像可以与基于强度的线性图像同时拍摄。或在线性图像的强度阈值下连续拍摄,确保拍摄期间环境发生最小的变化。
到330,方法300包括生成一个或多个基于强度的矩形,用于基于强度的线性图像中的一组像素。 例如,每个像素接收到的辐射强度可以定量化,并作为一种基于强度的线性图像的强度频率的函数表示。
任选地，在340，方法300包括将基于强度的线性图像分成多个砖块,并为每个砖块组生成一个或多个强度值矩形。通常，多层砖的大小和形状可以等于,并且可以不重叠。然而，尺寸或每个瓷砖可以根据线性基强度图像的质量,根据前线性基强度图像( 、 影像设备的感知变化等。
每个瓷砖的矩形图可以显示环境的局部部分和整体环境的不同特征,这可以使每个瓷砖的图像处理更加具体,而不是依赖整个线性基强度图像的直线图。
作为示例，图4显示了一个基本强度线性图像400的例子。图像400包含前面对象405(例如高强度)和背景对象 410(例如低强度)。图 400 被 分成 多层 瓦 415 。每个瓷砖包括高和低强度的像素的组合,为每个瓦提供单独的矩形签名,图标签名不一定与整个图标400的图标签名匹配.
例如,415a板只包含低强度的像素,因此420a的矩形图。 415b板包含大量高强度的像素,因此420b的矩形图。
回到图3，在350处，方法300包括一个或多个基于强度值的矩形,基于强度对线性图像进行局部对比增强.生成基本强度线性图像的对比增强版本。给出了基于强度的线性图像,具有更宽的强度范围.最明亮的峰顶可以被视为一个前景,环境中的其他一切都可以看作背景。在原始图像中，前景将显得明亮，背景将显得黑暗，细节难以察觉。
对比度增强可以消除这种差异。对比度增强可以用于放大低强度图像和解除放大高强度图像。换言之，更黑暗的物体(如背景物体)变得更明亮,更明亮的对象(例如前边对象)被暗化或增强以适当的对比度。通过这种方式，介绍了环境的细节,为用户视觉感知。
任何适当的对比增强方法都可以应用,例如,对比限制的适应性矩形平衡(CLAHE),抗急性掩护等。在实例中,在线基准强度图像被分成砖块。用瓷砖应用可以提高对比度,通过平衡矩形来增加每个瓷砖内部的对比度。
对比度增强可以作为局部操作进行,应用程序的增强可能根据场景区域、基于该特定区域的矩形统计等不同。
当被看作强度和频率矩形时,热图像中的热对象的像素强度倾向于聚集到一个或两个主要峰值。 这通常是需要染色的主要区域,因为人体温度或其他目标对象可能比其周围物体产生更高的热能。
然而,通过直接在接收图像上进行局部对比增强,增强图像从接收图像图中丢失许多重要的峰值。
因此，在360，方法300包括一个或多个基于强度值的矩形,应用了基于强度的线性图像的人工染色.一种用于生成基本强度线性图像的人工彩色版本。通过在不同管道中进行人工色彩处理,提高对比度,接收图像的强度数据可用于适当的分析,因此, 更精确的染色得到.
换句话说,颜色通道可以用于重新介绍在对比度增强过程中丢失的全球图像信息。 对于热成像,这允许显示最热的像素,通常是与人相符的,以颜色。
在一个示例中，可以分析强度值的矩形图,并且在阈值之上的像素的强度是人造的颜色。阈值可以预先确定，或者根据接收图像中的强度分布。例如，热度的90分之一的像素(最热的像素的第一10%)可以被染色。该像素可以给一个统一的颜色,或者你可以使用矩形均衡来给每个像素沿着光谱分配颜色值
图5A显示了一个例子。图500是根据像素频率的强度绘制的(任何0到100之间的单位)。临界点510适用于图500,任何比510的阈值大 pixel 都会被染色。通过使用简单的阈值,染色的过程可能很快发生,这可能在实时覆盖应用中尤为重要。
在与热对象相符的有限区域中,目标对象可能不会形成预定的图像百分比,因此一些背景对象可以根据任意的阈值染色,相反,如果场景中有许多热对象,一些对象可能根据简单的阈值保持不染色。
通过使用决策树，识别一个截然不同的图像的点或部分,这允许基于图像强度矩形的自然外形的智能色调。这种决策树可以由环境的其他信息提供信息,例如,低光度图像,物体检测算法和/或其他用于指导图像颜色的例子。
继续到370，方法300至少包括基于线性基强度图像的对比增强版本的一部分,并且至少部分的线性基强度图像的人工彩色版本生成了环境的合成图像。在接收显微图像的例子中,同时,至少一部分微观图像可以合成成最终图像。
这样，合成图像可以包含额外的细节,但不能仅从一个基本强度线性图像中获得。例如，如果环境包括墙，热成像可以识别墙上的螺旋,显微镜可以检测壁纸图案的变化。这样，最后的合成图像包含多个输入,每个输入都有一套独特的特征。
在某些例子中,一个或多个对比增强图像、人工颜色图像和低亮度图像可以合成到最终图像中,例如,一个完整的对比增强图像只能通过接收一个人工颜色的像素和/或砖头来合成一个人工颜色的图像。
在一个例子中,从接收的线性数据中可以确定一个矩形或多边形区域,并在对比增强图像中加色。
作为示例，图6显示了用于增强数字图像的处理过程。接收线性热摄像机图像605和低级光图像。您可以选择为直线热摄像机图像605生成一个直立方形图610。线性热摄像机图像605平坦地铺平矩形610(如适用)可用于生成线性热摄像机图像615的局部对比增强版本,还有线性热图像620的人工颜色版本.
然后，局部对比增强版本的线性和热图像615,合成了线性热图像620和显微图像625的人工彩色版本,合成了合成图像630。因此，与直线热摄像机605的图像相比,合成图像630具有人工彩色的前景对象和高对比背景对象。
继续到380,方法300选择性包括实时合成图像的重叠,以便用户能够通过显示查看环境。
在某些使用情况下，你可能只需要看看合成图像的颜色部分。在这种情况下，基于强度线性图像的人工颜色版本可以作为覆盖。除非是彩色图像,否则从显示中移动。合成图像的生成过程只能提供额外的细节,而不能通过应用如350或其他所述的人工染色。例如，白天戴AR头灯的用户不一定需要额外的对比增强细节,但它可能需要确定小ppet对象是否存在并产生热能。
微软专利 | 与人工色化结合的对比增强图像
微软在2020年12月提交了用于合成人工彩色的对比增强图像的专利申请。它由美国专利和商标局(U.S. Patent and Trademark Office)早些时候出版。需要注意的是，这只是专利申请,目前尚不清楚微软是否或什么时候将进行商业化。