点击Viewnet Nweon访问参考资料/信息来源。
重新投影虚拟图像
AR头部显示是视用户头部位置而定的虚拟图片,是用户头部位置的直观表示。因此,虚拟项目似乎被附在物质周围的固定点上。还可以利用磨损器的头部位置重新发送虚拟图形。说明虚拟图像传送时间和虚拟图片之间头部位置的变化。例如，视最初头部位置而定(例如,虚拟图象拍摄期间或之前计算的头部位置),可制作虚拟图象。然后根据一个新的头部位置(例如,在制作虚拟图片后发现的头部位置)对图片进行重新预测。
翻译和显示之间的时间延误的原因不同。例如,将虚拟图片从图形处理单位发送到监视器所需的时间。当将虚拟图像从远程设备传输到显示虚拟图像的监视器时,传送延误可能更为严重。另外，由于读取数据和点燃生成虚拟图片的灯光需要时间,虚拟图形的展示造成延误。
微软提供了一种减少专利申请延误的技术,题为“基于操纵器的图片评估”。发明主要概述了图像的重新预测方法。
在一个示例中，用户操作输入设备的位置或用户手持位置可用于显示虚拟视觉。“操纵器”是指用户的手或用户操作的输入设备。取决于操作者位置的虚拟图片被称为“操作者加”或“操作者加”。
当使用操控器时,在操控器附件的复制和显示时间之间可能会有额外的延迟。由于对机动地点的处理、现场地图的更新和(或)其他模拟任务等原因。有关拖延以及其他拖延可能导致操纵者增加,这似乎落后于操纵者的行动。操纵者的移动与操纵者联系的移动之间的差距在增加真实经验时可能更加明显。用户的混杂现实经历因此受到影响。
图1A-1B显示了100张照片(包括操纵者附件)的重新配置情况。如下所述，重新预测图像100所创造的重新预测图象100,在102个头部任命装置的监视器104上展示。虚拟围栏106和虚拟手动模型108形式的机械手挂装置列入图象100。其中，虚拟手型108显示位置,根据用户手佩戴手的动向加以更新。我不确定我还能再做一次该系统可以使第112位的手型取决于在作出时或作出之前确定用户手的方位。但是,在重写100的图片之后,用户手和头位置的更改为了弥补100个记录后图像用户110运动, 博客写道:该技术可根据用户的总部位置重新预测视觉图象,然后确定用户的总部位置。
图1B描绘了从100幅重新预测的图像光学1B中重新预测产生的图片,图1B描绘了从100幅重新预测的图像中重新预测产生的图片。通过104号监视器, 重新预测的图片114出现在102号头部。由于用户的手势发生变化,标明了108型手动型号第116号修改位置。另一方面,根据用户头部位置重新预测的图象在重新预测的图象114中产生了欺骗性图象。在这个例子中，重新工程导致一个118洞,使虚拟围栏106扭曲。它还跳过本应出现在重新预测的图像114中的图片材料。例如，手型108可能通过阻塞虚拟屏障106 造成118洞。一般来说，与操纵者有关的大规模运动或快速移动运动可能会在根据对头部位置的大量投影制作照片时导致虚伪。由于消费者可能很容易感觉到它们,用户的混杂现实经历受到谷118和其他假视的伤害。
微软的专利申请旨在解决手头的问题。图2显示了一个200个项目的数据处理管道实例。机械和非机械手上的附加物可以通过上述管道单独重新投射。在所描绘的示例中，第一反射图像202由200号管道接收。第一张《设计图202》载有没有连接但与框架相关的参考文献。200管道还收到内容的第二次记录,包括与操纵者参考框架有关的内容。操纵器参考框架可以连接到用户的手和/或用户控制的输入装置。例如，便携式控制器可用作输入设备。。
另一方面,用户的头部位置则通过重新显示第一位202投影人的照片来确定。因此,图206是第一个重新预测的。头部位置可以以任何可接受的方式计算。作为一个示例，运动感应系统可包含在头部显示装置中。用于确定用户头部位置或确定用户头部位置的数据。
以任何可接受的方法都可以对图202进行初步的重投。作为一个示例，照片202. 我不知道你们在谈论什么, 或你们在谈论什么, 或你们在谈论什么, 或你们在谈论什么, 或你们在谈论什么。 我不知道你们在谈论什么, 或你们在谈论什么, 或你们在谈论什么, 或你们在谈论什么, 或你们在谈论什么, 或你们在谈论什么, 或你们在谈论什么, 或你们在谈论什么, 或你们在谈论什么。 我不知道你们在谈论什么,最新的是最后一次对像素的重新定位, 其中的p. I'm not sure what you're talking about, sub.X 我不知道你在说什么 潜水员 最近的情况是 头部的位置X.Sup-1. 我不确定你在说什么, 子。 Render 是图像初始生成时或之前 所计算的头部位置的反方向。在一个示例中，X 我不知道你在说什么 Sub. I'm not sure you're talking about. Sup -1.第一记录图片202中任何可接受的像素数量都可以重新预测。206是第一张粗略的预测图。在一个示例中，可以对第一张图202中的每一像素进行再投射。由此得出了206个头重脚轻的预报。
第二:204,根据用户的头部位置和操纵者的位置。结果,图208第二次重新预测。如上所述，为了确定头部位置,可使用一个运动感应系统纳入头部显示装置或任何其他适当机制。同样，可以以任何适当方式确定操纵位置。作为一个示例，用于捕捉描述操纵器的图片数据的图像图像设备可以列入头部显示设备。然后分析视觉数据,以计算操作位置。如果操纵器是手，可用手工跟踪方法确定迁移地点。在其他示例中，操纵器可能是带有内置运动传感器系统的输入装置。在所述示例中，操纵器的位置可以使用输入装置运动传感器系统的输出计算。
作为一个示例，第二幅投影图204的像素预览 可能会被重新解读如下:p.p.p.我不知道你在说什么, 我不知道你在说什么, 或你在说什么, 或你在说什么, 或你在说什么, 或你在说什么, 或你在说什么, 或你在说什么, 或你在说什么, 或你在说什么, 或你在说什么,最新的是最后一次对像素的重新定位, 其中的p. I'm not sure what you're talking about, sub.X 我不知道你在说什么 潜水员 最近的一个位置是 图像第二次翻译后计算出的头部位置M. I'm not sure what you're talking about, sub. Latest is the modelive position 是在图像第二次翻譯后计算出的操纵位置.M. Sup-1. 我不确定你在说什么, 子。 Render 是第二张投影照片的时间的逆数, 或者先前确定的操纵者的位置。XSup-1. 我不确定你在说什么,子。 Render 是图像第二次翻译时或之前计算的头部位置的反方向。
在一个示例中，X 我不知道你在说什么 Sub. Render和X. Sup -1. 我不知道你在说什么 Sub.4乘以4）。在第二记录图204中,任何可接受的像素数量都可以重新预测。产生第二大预测图208。在一个示例中，第二渲染图像204的每个像素可以重投影产生第二大预测图208。
在重投影之后，在206和208时,对第一和第二张重新预测的照片进行了合成。由此得出了210个综合情况。地图可接受的任何图像处理程序均可列入。第一重预测206中重新预测的部分列入合成图210。第二重预测图208以及与操纵者参考框架有关的重新预测材料。
然而，与完全取决于与头部位置机械手相连的内容的重新预测输油管不同,合成图象210中不包括重新定位方法产生的假设。通过重新投射含有和排除操纵者新特征的不同图片它可以帮助隐藏虚拟图片(例如,在第一反省图202中),即虚拟屏障。此外,它减少或消除了重新扩散的可能性。
此外,通过减少操纵者随身携带的延迟,在操纵者随身携带的随身携带后,对操纵者随身携带的随身携带的随身携带者所决定的操纵者位置的猛烈投射,可以改善用户的混合现实经验。
在一个示例中，图片中的运动矢量可以通过根据操纵者的位置进行更新来描述。作为一个示例，当将带有非操作附件的照片与含有操纵者特定材料的一个或多个图像相结合时,运动矢量的更新取决于操纵者的位置。例如,通过修改一个或多个矩阵。可在合成之前或之后确定操纵位置。
在最初生产运动矢量之后发生的机动迁移,可视操纵位置,使用经修改的运动矢量捕捉到。在与运动矢量匹配的像素中,产生了更具代表性的营销指示。以这种方式修改的机动矢量可用于任何目的。例如重投影。另外，我们可以以各种方式获得运动矢量。例如,通过接受或请求显示操纵者补充信息的应用程序的运动矢量,和/或出口由移动两个或两个以上图片产生的运动矢量
图4显示,模范头数为400人。在增强现实实现中，监视器402显示一个扩大的现实项目 地球其余部分已经锁定由于装配设备400的位置变换锁定的扩大实际项目似乎根据用户的观点移动。所以，尽管头部显示装置400的位置已经改变在环境中有针对性地改进的真正物品似乎仍然停留在物理空间。
成像系统412可以从周围物理空间以任何相关形式获取图片数据。例如图像和视频。图像系统412图像数据可用于测量周围物理空间的物理质量。尽管附图只显示三个图像传感器(412A-412C),另一方面,成像系统可容纳任何数个图像传感器。作为示例，成像系统412中可安装一对灰色级照相机。设置它是为了在一个颜色频道中捕捉图片数据 。
可选地，成像系统412中可包括一个或多个彩色照相机。它的设立是为了收集一种或多种可见频色带的图片数据(例如可选的RGB);为获取深入数据而设计的一个或多个深度照相机可以列入成像系统412。在一个示例中，二维深度图可用于表示深度数据。其中，在二维深度图中使用了多个深度像素。每个深度像素代表相关表面与周围物理空间之间的距离,由相关深度相机测量。深层摄像头可以用任何可接受的方式使用。例如,飞行时深摄像头或结构光深摄像头。
使用图像系统412的数据,机上计算机404可识别运动。在一个示例中，控制器的动作可以被400头部显示设备捕捉 通过从摄像系统412获取图像数据 来捕捉控制器的动作在一个示例中，为了生成零散的手对手跟踪数据,头部显示设备400可基于从成像系统412获得的图像数据。成像系统412可以另外拍摄输入设备400个头部显示设备。机载计算机404可使用成像系统412的数据确定方向/定位和方向数据。这导致追踪了400个主管设备在现实世界中的位置和机动性。
可以设定414IMU将400个位置和(或)方向数据传送到机载计算机404上,用于头部显示设备。在一个实现中，头部显示设备400的位置和方向可通过合并成成像系统412和IMU414的方位和方向数据来确定。在又一实施例中，400岁时,可使用视觉惯性SLAM计算头部显示装置的位置。
图5所描述的重新预测流程图方法,在400台以上设备中是可以实现的。
在502，首次录制的材料图片,包括与参照基准有关的材料图片,是方法500的一部分。例如，头部显示或其他显示设备的用户可能与参考框架有关。接收第一个反射图像可能包括接收一个以上503的运动矢量,显示第一个反射图像中的运动。在504，接收材料的第二次记录照片,包括与操纵者框架有关的材料,是方法500的一部分。506号操纵框架可用于一种或多种输入装置,由用户手和用户操纵。第二张记录图片可能包含508件与第一个操作框架有关的物品,与左手操纵器相对应。和右翼操纵者的第二个操纵框架有关的信息。接收第二次反射图片可能还包括收到第二次反射图像中显示该动作的第二个或更多509个运动矢量。
在510，取决于用户头部位置的第一反射图片载于方法500。因此,形成了第一个重新预测的情况。从头部位置看,前511个运动矢量的递解可包含一个递解。在512，第二个反射图片根据用户的头部位置和操纵者在方法500中的位置重新显示。由此产生了第二次重新预测的情况。调整图片中一个或多个像素的位置是重新预测的一个例子。(例如通过矩阵转换)。第二张投影图可根据第一个514的操纵位置和第一个位置之后确定的第二个操纵器位置重新投影。重新预测的第二次反射图象可能包括515个根据头部和操控者位置重新定位的第二个或更多运动矢量。
在一个示例中，与第一个操纵者参考框架相关的、与一个左右操作者相对应的要素可以列入第二张投影图中。照片可根据用户的头部位置以及左翼和右翼操作员之一的位置重新播放。在516，接收第三反射图可以作为500方法的一部分。第三张记录图片由另一个与左、右操作员相对应的第二操作员参考框架的组件组成。接下来，根据用户头部位置和左翼和右翼操纵者的另一个位置,在第三次反省中显示图片。因此,作出了第三大预测。
518号合成重新预测图象,产生合成图像。 520号方法,500号方法包括根据最近发现的头部位置重新预测的合成图像。 522号方法,500号方法包括制作供展示的合成图像。
相关专利：
Microsoft Patent | Manipulator-based image reprojection
https://patent.nweon.com/22484
美国专利和商标局(USPTO)于2020年8月提交了题为“基于操纵器的图片评价”的微软专利申请,并在该日之前公布。