查阅参考资料/信息来源,可上网浏览。
时间更正系统和差别重新预测方法
虽然目前的混合现实系统可以装配多种类型的照相机,但也可用作因特网发展的工具。然而,在提供摄影机通过各种真实世界装置获得的照片方面,仍然存在许多障碍。因为摄像头的物理位置 距离用户眼睛的物理位置很远因此,所拍摄的照片不能立即交给观看者。具体地说，视像定位和立体摄影定位之间的垂直差异将造成视力错误。因此,用户将看到一个深度不正确的真实世界项目。
发明家在一份专利申请书中写道「时尚公司实施帕拉克斯的系统与方法」:微软展示了一个类似的发明。具体来说，其主要解释了一种用于时间更正系统和差别重新预测方法。
现在注意图4A，图4A用400张头部图片绘制了环境深度图,其中包括405件物理物品。音响照相机配对(例如任何类型的照相机)包含在400个头部图中。3D摄像头是用来收集 3D 图像的410号深度图是通过在400号总质量上进行深度计算(如3D匹配)生成的。
深度图410包含实物物品415的405深度值。在拍摄用于绘制410幅深度地图的照片(例如立体图像)时,深度信息415从上400个角度确定了400个表面和405个物理物体之间的距离。图4A指绘制深度地图图410所需的时间为“时间点1”。图4A显示该时期400个位置为“第1级”。头重400磅 传感器250用来确定位置例如,惯性和(或)视觉跟踪系统。
图4B显示了包括405件实物物品在内的最前400张周边照片,共420张。在一个实例中，收集420张照片,使用同一套立体摄像机,用来获取410张立体图像,供深映像。例如，图4B420的捕捉图象可界定为,用于绘制410幅深度地图的立体摄影机获取后立体声图像的对比。因此，获得的图片420可以通过一个或多个摄像头以任何形式拍摄。例如,可见光照相机210、微光照相机215、热成像照相机220、近红外照相机(800纳米至2微米)、紫外线照相机225和(或)其他摄影机。
图像420中包含来自405件实际物品的425个纹理资料。从与2号时点2的2号阵地相关的400个头灯的角度来看,425个关于2号时点405个不同表面的实物物品的外观、品质、颜色、一致性等的孔洞信息。如图4B所示，拍摄420张照片的时间在第一个时间点之后的第二个时间点(第2点)发生。另外，图4B显示2点时将400头头挂在第2阵地上。其与姿势1不同。
图4C显示第三个时间点(时间点3)和第三个位置(第3位)为400。时间3是时间1和2之后发生的。并且如图4C所示，3号阵地不同于1号和2号阵地。图4C将400 HMD作为第3点和第3点的虚线。在一个实例中，时间3代表未来。3号位置是一个预测地点,未来期间与400头相连接。400个头值表示根据对时间点3之前发生的400个职位变化进行的审查得出的预期职位。
图4C示出，在时间点3，头灯400正在展示或将显示显示图片430,显示405件物理物品。在这个意义上，图4C时间点3是系统显示图430的时段。图4C位置3也可视为一种姿态。
在一个实施例中，它表明,图象430是模拟世界的视觉表现。覆盖400人的头部 结合了410号深度地图410的415深度信息 和420张照片的425质地信息 生成了430幅图片。在一个实施例中，影片中的照片430是一个视觉校正。而在其他实例中，要创建显示图片 430, 不要使用偏移校正 。
图4C显示图像430,显示预期位置为435,用来显示405件实物物品。但作为说明，图4C描述了图430图430图430图420图420图410图410图420图410图4。例如，图4C显示了图430图435的预测位置与图象和深度图410图420图410图420图430图430图4的预测位置之间的差异。例如，深度图410左侧区域410黑410实物物品的405件应用来描述深度。图像420中405的物理物体在图像中间部分详细叙述。它显示图像右手区域图430中的实物物体405的预测位置。
由于深度测绘410与1号阵地有关,420个捕获与2号阵地有关,430个图片与3号阵地有关,图4C显示差异,因为不同地点在不同时间在不同时刻发生时分深度绘图410与1号阵地有关,420个捕获与2号阵地有关,图像430与3号阵地有关,图4C显示差异,在不同时间点出现不同位置。
图5A-5C显示了地点可能时间变化的示范战略。
图5A用510的深度地图绘制505年500个头重,以创造405个与地点1和时间点1有关的物理物体。500头与上述400头的头相同。在图4A-4C中,带有深度信息的深度图515与带有深度信息的深度图415相对应。405件实物物品(或现场的其他物体)的3D表示法意味着505可以假定405件实物物品(或现场的其他物体)的任何适当形状表示法,意味着505件可以采取任何适当形式。例如，多边形网格、虚云、非活动B组合模型,等等就是例子。
如图5A所示，通过从510到3D空间提供的深度信息去预测,500号头灯为实际物体生成了3D 505。例如，图5A显示在深度图510深度信息515上的不同位置进行的未预测业务540。
在一个实施例中，非预测操作540用于深度信息第515点,可视为以深度信息第515点为基础,从一个与位置有关的起源点向以与深度信息第515点相关的深度值为基础的距离延伸光线。例如，根据位置1,500头部显示 可能识别与位置有关的原创 作为光学中心。利用第1点绘制所收集的510幅深度地图。在一个实施例中，对于非预测操作540,光学中心由一组坐标(例如一组像素坐标)在515深度信息点确定。根据深度信息515, 头部显示500可以从与位置有关的发源点投射光线。根据与深度信息515相联系的深度值,500头质量可以远距离投射射线。这将在3D空间提供505个3D 3D指针。
如图5B所示,当500头与位置2、525图像识别纹理信息连接时,从2D捕捉点2处405个物理物体的2D捕捉到的图像纹理信息显示500头时,如图5B所示。
如图5B所示,头部数字为500,从图520的捕获图525到基于位置2的三维投影的3D投影,确定了525条纹理信息。 图5B显示在3D进行的预测行动显示505个点。
在一个实施例中，预测550业务可能是前述非项目业务540的反面。例如，预测550行动可被视为从三维505表示的三维点向位置相关点延伸光线。基于第2点,500头部显示器可能确认与位置有关的点为光学中心。2号位置允许你拍摄520张照片这500人的头能从3D点3D 显示光线, 3D点505到公认的位置相关点。光线还可以确定图象捕捉到的525条纹理信息的位置。然后,500头质量可与纹理电文识别点525和3D点505相连接,用于光投影。
由于预测行动550以职位为基础(即2个职位),与拍摄图象520有关,即使时间偏差导致520张照片中405件实际物体的描述位置不匹配,3D的深度图510用于建造3D,投影操作 550 使实物物体 405 的 3D 与同一实物物体 405 组件的纹理电文的 2D 点 525 匹配。
图5C显示建筑环境的570个综合图象,总质量为500个。所涉环境有575个转换对象,相当于405件实际物品。图5C在某一时间点(即时间点3)描绘了综合图象570,而图500则在不同时间点(即时间点4)描绘了综合图象500。如上所述，显示位置由与综合图象570显示的时间点(即时间点3)相联系的头质量500(即位置3)识别。例如，时间点可能是未来。此外,证明地点可以是预测位置,与未来时间点有关。
图5C显示,至少有500个头号数字通过使用第3位(例如,在一个实施中,在3D点进行了560次预测,500至3D头表示505次)。
3号阵地用于预测业务560,而不是第2号阵地(例如(这与预测业务550形成对照)。例如，根据位置3,500的头部显示 能够识别与位置有关的观点。地点3是显示570综合图象的地方,其头重为500。与位置有关的观点可以由用户一个或多个眼睛的位置决定。头部与3乘500的位置相连光线可以从代表505的3D点3D射向500人头目确定的与位置有关的观点。此外,光线还区分了一组像素位置和合成图象570。
合成图象570的像素是利用一套公认的像素坐标和与3D中3D点的投影相关的几何和/或质地信息,由总质量500建造的。
由于投影业务560是根据显示位置(即第3位)进行的,因此,投影作业560将与实物物体405的三维点与用于在合成图象570中显示实物物品405的预测的435位置相匹配,以显示实物物体505的三维点。即使时间偏差改变了合成图片570、捕获图520和(或)深度图510中405个实际物体的描述或预测位置,都将发生所述对准。
图5C显示570幅综合图象,580条纹理电文代表项目575。如上所述，3D显示,505 3D点中至少有一部分与图片捕捉到的525条纹理信息有关。因此，图5C示出，发给合成图象570575的图象580号图纸信息基于525号图纸信息,该图纸信息与3D点链接,显示预测业务550和560的505个图纸。
在制作和(或)展示500张合成图片的同时,还采取了额外程序。例如，在一个实现中，500头修改3D预测(和/或执行额外大预测)。以570个基于用户的眼对眼视角创建一个或多个经视觉调整的合成图片。
所以，在许多方法中,头部可见度500能够根据3D投影(每投影560)和纹理信息580(525,视纹理而定),在570时点制作合成图片供展示。例如，在一个实例中，根据3D预测的505(基于预测的560),头部数字500立即改变了520张照片的购置(例如,使用每像素版本)。由此得出了570个综合情况。
在其他情况下，三维表示法505是500人头部三维表示法的二维角度505。525个紫外线标签,根据520张记录照片生成/更新/修改的纹理信息然后，UV可应用到 3D = 505 用于使用头部显示器进行提取。在一个实例中，制作和制作/更新/更新/修改紫外线地图,以提供合成图570(而不是修改捕获图520)编辑g和制作/更新/修改紫外线地图,以便提供合成图570(而不是修改捕获图520)。这至少允许将制作合成图片570的计算负荷的一部分外包给世界上最大的GPU。因此,计算费用被有利地分配给资源有限的系统。
图6A显示当600与第3号阵地连接时发生的情况。补充捕获图630从第3点时拍摄的405个物理物体中的635个头质量为600的附加纹理信息中确定为635个额外纹理信息。在图5C中，时间点3和位置3分别是HMD将以综合图片显示的时间和位置。相比之下，图6A的时间点3和位置3分别涉及在环境中收集的额外捕获照片的时间点和位置。
图6A显示其他捕捉照片630、635中指明的405个物理物体的纹理信息,与620个图像的625个纹理信息不同。例如，拍摄照片620和额外拍摄图像630可以使用各种照相机(例如,一台或多台微光照相机,以及一台或多台热成像照相机)进行。
如图6A所示，根据3号阵地,预计600人的首长将运作640次。将3维点605连接到 额外捕捉图630的 额外的纹理635图6A显示的预测程序与上文图5B所描述的程序相似。然而，这是一个640个预测程序(例如,与预测业务550不同的是,这一程序基于第3号阵地,而不是第2号阵地)。省
头灯600能够进行分组投影(例如,从 3D 605 点捕捉620 图像识别纹理625,使用投影作业550。此后,使用了640个投影仪。至少有一些相同的605个三维点与额外获得的图像中的635 3D 额外的纹理信息相识别,至少一个点。因此，根据 " 3D " 数据,605可与来自许多来源的质地信息相匹配。
用于收集图片620的相机和额外的图像630可以协调。两台摄像头拍摄了带有公共时间印章的图像。然而，因为不同地点的摄像头不同标题仍然可以做一个单独的预测过程。从各种摄像头记录的照片中提取纹理信息。
图6B显示670幅图片综合图,包括600个标题制作和展示,包括675个显示405件实际物品的投影物体。在一个实例中，605个3D点的660个投影操作为670个综合图象,包括675个投影对象,视某个时间点的显示位置而定。
图6B的位置4和时间点4可视为分别用来显示合成图670的显示位置和时间点;此外,在3D点(例如,为显示投影,尝试使用投影操作660)所作的投影,用于制作复合图象,以便在某一时间和地点显示。
图6B示出，在一个实现中，合成图象670's endering objects 675的纹理建在无数的纹理来源上。例如,图6B显示产生物体675的680条纹理电文。它包含来自图像捕捉620的625条纹理信息,以及来自图像捕捉630的附加纹理信息的635条纹理分集。因此，合成图片的混合方式可以是,从不同拍摄的图像(或其他来源)获得的不同照片之间的任何时间差异都可以补偿单独拍摄的照片(或其他来源)的混合方式,可以补偿从不同拍摄的图像(或其他来源)获得的不同照片之间的任何时间差异。
如图6B所示，在显示位置和时间点、地点和时间点之前,与拍摄照片620和额外拍摄图像630有关的时间点(分别为时点2和3的第2和第3位)。然而，与图像捕捉620和进一步捕捉630相关的位置和时间可能发生在最初位置和时间与绘制605年3D深度地图有关之后。因此，与图片捕捉相关的位置和时间戳,为合成图像的开发提供质素信息,可分别视为中间位置和时间戳。类似地，中间投影是在3D点进行的,目的是从3D点获得图像识别纹理信息。
相关专利：
Microsoft Patent | Systems and methods for temporal corrections for parallax reprojection
https://patent.nweon.com/21467
以上述解释的方式,系统可以对有差别的繁重预测进行时间调整。微软专利申请,题为“用于实施parlax的技术研究的系统和方法”,于2020年6月首次提交。美国专利和商标局发行了该书。