（映维网Nweon 摄像机拍摄的图像可能受到各种噪声源的影响。包括由摄像头电路产生的噪声。例如，用于驱动像素的信号可能受到温度波动和/或其他因素引起的电压和/或电流漂移的影响,它也会导致图像传感器输出的变化。这在生成的图像中显示为噪声点。读取电路可能会遇到类似的问题。在弱光条件下，这种噪声点对传感器信号噪声比(SNR)产生不利影响。
不同的图像传感器阵列可能受到图像传感器电路的不同操作差异的影响。作为一个示例，图像传感器可以包含行(例如:rows and columns)多个像素的阵列,每个像素由相应的放大器驱动。放大器输出的变化可能导致像素记录的像素值增加移动极化。
如本文所用，“差”指图像传感器的像素记录的像素值的额外偏差。“读取值”指从像素中读取的值,包括其像素值和修改为读取的像素值的潜在偏差。线极化是指用于图像传感器组件的线的公开极化,“线”一词指由公众偏见影响的多个图像传感器像素。例如,一个由公共放大器驱动的行或列的像素。
用于驱动不同像素线的图像传感器的放大器之间的操作差异是不同的。例如，第一个配置驱动第一行图像的放大器可以提供1.1mV输出,并配置为提供与第一个放大器相同的输出,第二个驱动第二行像素的放大器可以提供1.2mV输出。结果，第一个放大器驱动的第一个行像素可以体验第一个在第一行记录的像素值中的极化,第二个放大器驱动的第二行像素可以在第二行记录的像素值中经历与第一行不同第二次极化。
这可能导致图像被图像传感器捕捉的噪声点以不同强度或对比度的带或带的形式显示,从而降低图像质量,从而影响图像传感器的噪声比。
此外,由于产生偏差的漂移的性质,偏差可能在图像之间发生变化。 读取图像传感器收集的图像数据的读取电路的操作性变化也会导致像素值的偏差。
一个解决图像中的线偏差的方法是使用图像滤波器。 然而,滤波方法可以重演窗口中每个单独的像素的所有像素,这在计算上非常昂贵,并会导致输出图像与输入图像的信息内容相对于的模糊和相关损失。
另一个处理图像线性偏差的方法是通过实验确定每个行像素的偏差,存储偏差进行校正并应用到图像中。 然而,这个校正程序假设不同图像之间的线性偏差保持不变,并且线性偏差的来源可能随时间变化。
为了解决这个问题,微软在其专利申请中的题为“在图像中纠正线性偏差”中提出了一个关于纠正图像中的线性偏差和时间线噪声的例子。
一般来说,可以确定每个图像帧中的每个行像素,并应用行移校正来生成每个图像的移校正图像。 线偏移校正的确定被描述为一种优化问题,在该问题中,通过改变像素行中的潜在偏移的偏移项来最小化成本函数的值。
在一个示例中，成本函数定义为求纠正线偏差和邻近线的像素之间的梯度比。该优化方法可以通过动态规划技术有效地实现,从而减少计算成本。微软指出，该发明实例可为图像生成和实时显示线性偏差和时间线噪声修正提供便利。
图1示了一个计算线性偏差和时间线噪声在图像修正中管道100的例子。在管道100中，图像设备102使用图像传感器104来捕捉包括图像106在内的多个图像。106的图像可以是视频流中的图像,例如, 微光或热图像的视频流.
如图1所示，图106显示高频带或带有不同的灰色对比度的噪声点。噪声源是各线之间的不同线偏差,它可能由驱动器和/或读取电路的操作变化引起,例如,图像传感器104。另外，图像中的噪声点随着时间的推移而波动,从而显示时间线噪声点.
为了纠正图106中的线性偏差和噪声,输出图像106到计算器108。每帧108个计算器确定接收图像中的线偏差的修正.图1显示了由计算器108通过对图像106进行线性偏差修正生成的偏差修正图像110。
与106图像相反,通过偏振校正的110图像不显示106图像中的噪声,然后通过偏振校正的110图像输出显示器112显示。
尽管图1显示了图像设备102的灰色输出,但在其他例子中,图像设备102可以产生多通道彩色图像。
另外，102的影像设备可以以任何适当的形式使用,例如,一个热摄像机或一个被配置以在显微条件下捕捉图像的摄像机。配置在低信号条件下运行的图像传感器可以被时间线噪声限制。所以， Pipeline 100可以用于在这些图像中纠正线性偏差和时间线噪声,从而减轻所述限制。
在各种示例中，设备内可安装影像设备102、计算设备108和显示设备112,或者一个或多个实现可以作为单独的设备实现。作为一个示例，头部安装的显示装置可以包括每个影像装置102、计算装置108和显示装置112。例如，该图像可以在图像设备拍摄的视频流中实时显示。
图2显示了校正图像中线性偏差和时间线噪声的 200 流图示例方法。例如，图1的管道100显示了方法200的实例实现.在202，从图像设备中接收包括多线性像素的图像.在各种示例中，线可以是水平和/或垂直的像素线。
在204，至少根据第n行中的像素值,使用成本函数确定了图像中的第n行像素的行偏移校正。在一个示例中，成本函数可以包括梯度的总数,如208所示，每个梯度在n线中的像素和与n线相邻的相应像素之间计算。
作为更具体的例子,可以计算n行的第一像素和n+1行的第一像素之间的梯度,也可以计算n行第二像素和n+1行第二像素之间的梯度。
图3显示了三行302A、302B和302C的像素,每行包括四个像素。为了确定302A线的线性偏差校正,由线 302A的所有像素确定的梯度的总数,并计算302A线的每个像素的读取值和邻近302B线的相应像素的读取值之间的每个梯度。
具体地，确定成本函数值的梯度包括(i)线302A的304A和302B的306A之间的梯度,(二) 302A 线 的 像素 304B 和 302B 线 的 像素 306B 之间 的 梯度,(二)302A线的304C像素和302B线的306C像素之间的梯度,以及(iv)线 302A 的 pixel 304D 和线 302B 的 pixel 306D 之间的梯度。梯度可以以任何适当的方式计算.作为一个示例，每个梯度可以作为比较器像素的读取值之间的差异的绝对值计算。
每个像素的读取值是像素对光的曝光(“像素值”)和驱动电路、读取电路和/或任何其他源生成的任何线偏振的函数。因此如图2所示，如210所示，每个梯度代表第n行的像素值和第n行的线偏移,相邻线中的相应的像素值与相邻线的线极化之间的绝对差异。如上所述，线性偏移的存在将相加偏移应用到像素值。
因此，您可以在像素行中将预定项添加到像素的读取值,然后调整以减轻线极化对成本函数的值的影响。再次参考图3，像素304A和像素306A之间计算的梯度可以作为(i)像素304A的读取值和影响线302A的线极化点的总数计算,(二)像素306A的读取值和影响线302B线极化的极化项目指点之间的差(例如绝对差)。
通过将像素304A的线性偏差应用于像素304B-D,将像素306A的线性偏差应用于像素306B-D,同样,可以计算像素304B和306B、304C和306C、304D和306D之间的梯度。如上所述，在一个示例中，可以为两个相邻的像素线(例如,上行和下行)计算梯度。在计算线像素梯度后,所有的梯子都加起来了。尽管绝对差在这个例子中被用作梯度,然而,任何其他合适的梯度计算都可以在其他例子中使用。
返回图2，在212，计算 n 线 的 两 个 或 多 个 潜在 线 偏差 修正 的 每一 个 费用 函数,并选择潜在线偏差修正以产生较低成本函数值.线偏差修正是指调整成本函数的偏差项.再次参考图3，302A线和 302B线的邻近像素之间的梯度可以用一个或两个线的不同的偏移值来计算。确定哪些偏差值更有可能降低成本函数.
例如，对1和2的两个不同的偏差,邻近的像素之间的梯度可由(i)线 302A与1的极化和线 302B与1的极化计算,(ii)线 302A与1的极化和线 302B与2的极化计算,(二)二极化为2的302A线和一极化为302B线,(四)线 302A 两极化,线 302B 两极化。在一个示例中，每个可能的偏差值的组合可以用于评价成本函数。
例如,对于预定的迭代数,成本函数可以计算到成本函数的值等于或低于阈值,或者达到指定的最低值(局部或全球)。
通过递归迭代,分配了所有可能的线偏差分布,最好的解决办法是找到的。动态编程技术见图2第214页。因此，动态规划能够找到具有全球最低值的解决方案,从而产生成本函数,同时降低评价成本函数的计算成本,这确定了修正视频数据的帧速率内线偏差校正。
例如,使用动态编程可能包括使用内存215或表216来存储早期计算的值,再用于以后计算。 例如,使用成本函数可能包括使用内存或表来减少、减少或优化成本函数。
确定成本函数的适当低值为218,方法200包括一个线性偏差修正,将在204处确定,并应用于第9行中的每个像素。如上所述，应用线偏差修正可以包括应用偏差在相应的线中的多个像素值。在一个示例中，这可能包括对正极化或负极化和像素的读取值的调和。
如果确定其他行确实保留(是的),方法200将移动到 223,其中行极化决定了进程在图像中的N行之后移动到下一个行(N++)。
在223之后，方法200返回204,其中一个可以确定下一个线的线移校正。在一个示例中，方法200可以重复图像中的每个行,确定和应用各行线偏差校正.在图像末端的最后一行,梯子计算可以在最后一行和第一个一行之间进行,或者你可以使用一个相邻的线。
在一个示例中，可以确定线偏差校正,它也适用于在218处得到线偏移修正的线以外的线。例如，线性偏移校正可用于图像中的像素线,并应用于图像中的像素线。从而生成一个带移校正的像素线图像。然后，可以确定结果图像中的像素列的线偏移校正,并将其应用于该列。从而生成了与偏差校正的像素行和像素列的最终图像。任何适当的顺序都可以进行行和列移校正.
继续图2，如果在22点确定没有保留额外的行,方法200转到224,通过显示输出偏振校正图像.在一个示例中，偏差修正的输出图像可以包含26个偏差修正的实际输出图像。例如，该成像装置可以生成多个成像帧,形成一个视频,并且可以使用200法来生成多个图像的偏振修正图像,实时显示移换的校正图像.
微软指出,该发明有助于实现图像中的线性偏差和时间线噪声的有效纠正,以及通过偏差纠正的图像的实时显示。
Microsoft Patent |在图像中纠正线性偏差
微软的“在图像中纠正线性偏差”专利申请最初于2020年12月提交,它由美国专利和商标局(U.S. Patent and Trademark Office)早些时候出版。需要注意的是，这只是专利申请,目前尚不清楚微软是否或什么时候将进行商业化。