查阅参考资料/信息来源,可上网浏览。
密集深度计算
纠正差别问题的方法之一是从立体摄像机角度重新投射相机到用户的眼睛角度。必须采用校准方法,以确定立体摄像机与用户眼睛之间的实际位置差异。然后，在购置立体图像配对和立体摄像机后以立声图片为基础的步骤用来确定深度信息(例如深度地图)(例如,进行三维匹配)。随后，该系统可以重新预测计算的信息深度,以便与用户的左眼和右眼镜联系起来。
然而，在从立体图片中计算深度信息方面存在若干困难。例如，为创建深度信息而匹配的 3D 图像执行 3D 3D 匹配是为了识别 3D 图片中特定像素的差异。角度上的差异包括一张图片像素与另一张图像像素之间在像素坐标上的差异,这些像素坐标与环境中的 3D 位置相对应。
第一张图像中以环境级别结构像素为核心的像素块使用3D匹配方法确定。此外,还有可能查明,第二幅图像中无数像素区块与第一个图像中的像素区块相对应,前者沿着相同的扫描线,其水平结构相同。所以，蒸发技术可能无法正确识别环境中代表相同 3D 点的不同照片中的像素配对。特别是与扫描方向一致的环境结构。这是众所周知的“孔径问题”。
除了孔径问题外，在估计音响图片的深度信息方面还存在其他困难。例如，在捕捉一对立体摄像机的环境时,只有一个不同的立体点。在一个示例中，对于离立体摄影机很近的物品摄像头只能捕捉到物品的一部分项目的一部分也可能被另一台相机的视图字段遮蔽。这通常被称为“遗留问题”。
微软提供了一种相关方法。
请注意图4A-4C。左显微光照相机405,右显微光照相机410,热照相机415可列入400个头部。左显微光照相机405,右显微光照相机410,热照相机415可用来捕捉400个头型。制作稀释和/或密集对比图(见图6A-7B)。在这方面，可使用若干摄像头捕捉各种图像。例如在一个实例中，左侧显微光照片由左侧显微光摄像机405在头部显示器中拍摄。使用适当的微光摄像头410拍摄适当的微光图片。热摄像头415用来获取热图片。另外，在其他实例中，400人头部用左(或右)微光照片和热图像绘制了破坏地图。制作浓密的对比图,使用左、右微光片和折射图。
试图为每个视图映射图获得像素的视图比值的方法所创建的视图比值被称为密集视图图。例如，强烈视图映射图可以存储视图映射图中的所有像素深度 。或,至少, 部分的差别图像。例如,一半以上的像素。相反，折射图是用不试图计算每个视图图的折射值的方法生成的差异图。例如，对角对比度映射图为对比度映射像素深度的一定比例储存提供了条件。例如,不到一半的像素。或者甚至更优选地，小于5%的像素。
图4B显示了400个头灯和410个右光灯摄像头的405个左边显微灯摄像头和410个右边显微灯摄像头。在一个实施例中，一对立体微光照相机是左边的显微光摄像头405和右边的显微光摄像头410。设置它是为了获得立体声学微光照片,以便进行立体声匹配。像素根据承认的金额波动。图4C显示一个热摄像头,头部400,415个。它的设置是为了拍摄热相片。
435飞机和400飞机头部有一个平坦的面对面的平面。400高调主要位置/方向445一般与430和435表面平行。这是政府首次在400点直接、主要、直接和直接方向使用头部。430级和435级相互垂直。但在使用期间，400头会和用户头一起移动它正经历400个头对头的转变。在这种移动期间，430和435飞机将同时改变,400点的主要点为445。这从用户头对头的角度收集照相机拍摄的照片(405、410和415)。
在其他情况下,共用了430和435个表面,使3个参考摄像机与头部显示器相提并论。
图4C显示435平方平方,垂直偏差在440至430之间。安装了400功能的热摄像头415,以便从渗透式透视中捕捉热量,这种透视与左和/或右显微光摄像头405和/或410拍摄的显微光照片垂直偏离。所以，系统以非等级方式计算400头部记录的热光和微光图片之间的像素差异。因此，热摄像头制作的加热图片415至少可以部分弥补孔径问题。
此外,热摄像头415获得的热图片是部分调整屏蔽问题的基础,因为热摄像头415提供了额外的渗透性视图(例如,安装在左侧和右侧显微灯摄像头405和410的潜望镜)。
图5描绘了55个显微光环境的照片,该环境用左边的显微光照相机405、右的显微光照相机410和热照相机415,55个显微光环境是一个基本环境,建筑物内有560个表和565个球。
如上所述，在400年历史的录像站安装的摄像头数量被认为是该国最多的,因为400年历史的摄像头摄像头安装在400年历史的摄像头的不同地方。因此,400头照相机的视觉视角至少彼此略有不同。例如，图5显示左微光505场,与左微光摄像头405相伴,穿过左微光505场。右微光场为510,与右微光摄像头410相连。热摄像头415与热点515有关。其中，所有三个地点都存在差异。
图6A描绘了55个微光环境的头盔照相机拍摄的照片。例如，图6A显示由405个左侧显微光照相机、410个右侧显微光照相机和415个热照相机拍摄/产生的图片。
在55个微光环境中的环境光似乎在左边的显微光图605和右边的显微光图610中放大。提供图片帮助用户更准确地看到微光环境中的55项物品。例如，表560可能难以看出用户在没有帮助的情况下看微光环境55(见图5)。表660A在左侧显微光图605中比较明显(见图6A)。
在一个实例中，热相图615是显微光环境中55天天体热特性的直观表示。例如，热图615表660 C载有表560的显性信号,显示表560在微光环境中的热能55。就此而言，热相图615的纹理不同于左边的显微光图605和右边的显微光图610。
如前所述,该系统使用热光图615和左侧显微光图605或至少一个右侧显微光图610产生分差。
图6B显示了将左侧显微光图605与热图像615区分开来的特点和特征。在一个实例中，特征点是图像中有很多纹理信息的像素(例如边缘、角度和/或其他明显可见的特征)特征描述符(又称“功能矢量”)是从一个已知特征点周围的本地图像/像素块收集图像数据/统计信息的结果。作为特征点的识别,可以使用定性描述符。特性是特性描述的焦点 。以特征点(如强度和/或颜色的变化)和/或方向(如边缘方向)为中心的图像块内像素梯度的直方图可用于识别特征描述符。
SIFT和分区域资源中心是两个可供系统用来确定特征点和(或)特征的方法。
图6B说明了与表660A(左侧微光图605)有关的参数。例如，620A、620E和620F等特性见表660A角图6B。图6B还描述了表边缘660A上的620B、620C和620D特征。另外，如图6B所示,625A、625B、625D、625E和625F特性分别与620A、620B、620C、620C、620C、620E和620F特性有关。
图6B更详细地说明了热图615表660C的相关属性。例如，图6B显示表660A的特点,该表位于630A、630E和630F的交叉点。图6B还描述了表边缘660A上的630B、630C和630D特征。另外，图6B分别说明了与630A、630B、630C、630C、630C、630C、630C、630E和630F等特征有关的635A、635B、635C、635C、635D、635D、635E和635F特性。
如图6B所示，虽然热相图615和左侧微光图605用不同的照相机拍摄,但以不同方式拍摄。表660C630A-630F和表660A630A-635F对表660A对表615对热图615的定性与表660A-620F和表625A-625F对左边显微镜的特征620A-620F和表625A-625F对等。换句话说，表660C显示630A-630F和605显示620A-620F显示捕获环境相同的三维点。
在一个案例中,用一台示范相机拍摄的照片可能无法描述用另一台示范相机拍摄的图像。 例如,热图像可能无法捕捉温带的边缘和/或角度,但微光图像可能捕捉到这些边缘和/或角度。
现在注意图6C，图6C中与680相匹配的性能特征用于确定左侧显微光图605和热图像615中的等效特征。为清楚起见，图6C显示与用于探测热图像615具体特征(即630B特征)的680相匹配的性能特征,它相当于微光图605左侧605中的单一特征点(即特征620B)。
对于初始相机图片的特征,第二张照片中的类似特征将在图像的柱子上找到。在这方面，极线可用于设定在相机拍摄的图片中识别特征的搜索范围。另一台相机获得的图片的特征点与该特征点相符。与搜索整个图像的适当特征点相比,使用极线确定搜索范围以确定相关特征点可以提高计算性能。
再次参考图6C，680项符合系统执行特性。确定热图像615 B中与左边微光图620 B 620 B 的特征相对应的特征,将极线640 B 定位在热图像615 中。例如,通过从左侧显微光照相机405光学中心向该系统投射光线,该系统可以通过620B通过特征620B。为了确定640B线外极线,将光线投射到热摄像头415的前照水平。
在一个实例中，算法按极线搜索 640B 寻找照片 最相似的图像 以620B为主例如在一个实例中，系统通过寻找640B极线,发现640B极线是热像615的635B特性中最高相对性的640B极线,寻找左微光图像605的625B特性特征中最高相对性的640B极线。因此，该系统指定630B特性(与635B特性有关)为620B特性(与625B特性有关),连接系统指定630B特性(与635B特性有关)为620B特性(与625B特性有关)。
如上所述，该系统可进行680个功能匹配,以定位热图像615中与左侧微光图片特征相符的任何几个特征。例如，该系统可以围绕从左侧显微光图605中收集的元素建立(例如,在图6B中,特征620A-620F显示热图615中极线的收集情况。系统可以同时沿热图像615的极线搜索。一套特征描述器,用以识别热图像615,以及应连接到左侧微光图片的特征集605。
图6D显示了根据左侧微光图605和热图615的匹配功能产生的稀释差异模式的一个实例。稀释差值,包括690的明显差值,见图6D的图650。在一个实现中，左侧显微光图605中的匹配特征点和热图像615中相关特征点识别差690是系统的基础。
图7A和图7B显示了利用稀释差分图650得出的750个密集视图模式的例子。在一个实现中，作为对开发密集对比度750地图系统的投入(应用左微光605图、右微光610图和罗格差幅650图)。然后，该系统在左边和右侧微光学图象605和610上执行3D匹配操作780,以及稀释差分图650,以产生强烈的视觉差分图750。
图8显示一个系统,该系统利用空间过滤波830,在一个例子中确定密度视距比值750地图中一个或多个像素差异。
图8显示750大视距的810像素。对于所述像素，图7A的三维匹配程序未能产生视图差异(例如,由于屏蔽问题)。在图5中,像素810表示表560的边缘。从左侧显微光摄像头可探测到的可观测到有争议的边界405。然而,右显微光摄像头410和热摄像头415潜望镜均被隐蔽。
系统识别宽度对比度750地图像素810的815A座标窗口。 系统还识别像素815B像素坐标815B图650中的等效窗口和图650中相应窗口中像素的特效差690。
在一个实例中，该系统在稀释边缘图650座标815B的相应窗口中应用空间过滤器830到像素,特异差为690。产生810像素的宽度比值图750的宽度比值差异。例如，该系统能够使用中值过滤器、平均过滤器和(或)任何其他类型的空间过滤器。基于像素坐标815B的匹配框中690像素的特性差异产生了810像素的明显差异。应当注意，尽管图8没有明确说明,但情况并非如此。尽管如此,用于构建810像素差异的空间过滤器830可以使用密度对比度750的像素815A窗口中一个或多个像素的视图差异。
通过上面的描述，通过匹配不寻常的特性,这个系统可以帮助进行沉重的计算深度。专利申请首次于2020年6月提交,其标题是“精密深度计算,由稀疏的胎骨匹配推动”。美国专利和商标局发行了该书。
相关专利：
Microsoft Patent | Dense depth computations aided by sparse feature matching
https://patent.nweon.com/21463