点击Viewnet Nweon访问参考资料/信息来源。
将真实世界的图片捕捉和智能检测算法结合起来。
就企业而言,不可能找到摆脱国家困境的途径。有时需要项目阶段或交付品的照片。例如，装配操作员的责任之一可能是在生产的各个阶段对产品进行拍照。在拍摄许多同一产品的样本时人类操作员能够将每件产品拍成相距略多的切合点。在一个地点,某些产品特征,例如缺陷,可能被显示或看不见。由于在供观看的人类摄取照片中可能出现不一致,因此,利用有关图像作为今后比较或判断成像产品的基础,是具有挑战性的。另外，在手工检查物品时,体力工人通常会犯错误和(或)使用相互矛盾的标准。
博客在一份专利申请中写道「混合现实图片捕捉与智能绝缘」:微软介绍了一种将真实世界的图片捕捉和智能检测算法结合起来。。团队表示，在一个依靠照片记录或维护的系统中,可以测试特别重要的方面。例如,质量保证系统依靠产品检查系统。
简单来说，主要为界定现实世界协调技术集而开发。它引导消费者获得预先设定的利益。然后将照相机指向物体,以便拍摄其图像。该智能指南可用于保证显示对象的特性。和/或从大致可比较或相同的有利姿势收集一系列同一件事的照片。这将产生一系列一致的照片。
同时，根据这项专利,可以使用由人类操作者收集的一套一致的有利地点,对一批物品进行机器学习模式的教育。例如，操作员可以为每发子弹提供输入。具体说明每张照片的标的物是否符合某一标准。一旦训练完成，机器学习模型可以实时评估事物的新照片。新图像中的项目被客观地确定为符合标准。在一个实施例中，机器学习模式的产出可以进一步处理和分析。此外,该系统能够提供实时反馈。例如,如果产品有缺陷,请通知经营人。或者总结某些成像结果的检查结果。例如，这是首次允许装配线操作员拍摄产品部件。这是政府第一次能够实时对该系统作出反应。因此,对产品进行评估,以达到必要的质量标准。
图1举例说明了102个加工装置的例子。它为收集和分析来自实际世界的照片提供了各种实用的用户经验。处理器102可能是在三维现实世界参照框架内预测的一个数字物体。头盔能让数字和物理物品 在用户的视野中共存在另一个实施例中，专利技术可以使用任何实用设备的组合实施。含有提供 2D 混合现实经验的硬件。
102号加工设备包括了104个预测光学部件。后者设置在视觉栏目118中显示详细物品,供穿戴加工设备或与加工设备互动的用户使用。同时,处理设备102装有106号照相机。它可能记录混杂现实世界事件的静态照片或视频框。处理器112可操作的一种或多种应用的储存操作系统(未列入清单)和储存系统都列入加工设备102。在其他应用中，储存并在当地实施混合现实框架调整工具114和图像检查工具116。在一个实施例中，混合现实框架调整工具114和(或)图片核查工具116可以通过在局域网或广域网上与处理设备102通信的设备远程执行。
混合现实框架调整工具114协助用户定位处理装置102的位置,以便实现预定目标。在将现实框架校准工具114混合后,摄影机将获准使用相机,发现106摄像头位于预设的有利位置。图像捕捉工具136可从混合现实框架对齐工具获得指示。例如，使用相机 106 命令自动捕捉图像, 或提示用户输入, 以启动照片捕捉 。然后，可选择将获得的照片发送到图像检查工具116。
专利描述各种技术,每种技术都有自己的一套实例。例如产品检查。在生产设施为目标受众完成某一阶段的工作后,122(如自足部件),可要求操作员拍摄122人目标受众的照片。为保持其总体地位/质量,相关因素可能需由另一方(如手工或自动检查员)进一步评价。
例如,混合现实框架调整工具114帮助120个用户从一个一贯有利的地点收集100多张现场图像,而122个目标受众是其中的100多张。 许多照片可以代表同一产品的各种副本。
在使用混合框架调整工具114时,图片捕捉模式通过将106摄像头瞄准预定在现实世界的锁定项目而启动。例如,将锚物体124放置在或靠近头字段以定位头部显示器。在一个实施例中，图1的锁定物体124是条形码标签。目标物体(如自行车部件)相对于100秒假设情况的位置有一个已知的预先确定的空间间距。例如桌子。例如，系统管理员可在混合实际寿命框架调整工具114的设置阶段指定锁定对象124,适合系统管理员使用。例如,上载固定物品的照片或向系统提供补充指示,使得在100例情况下很容易检测到固定物品。
当混合框架调整工具114承认实地118的固定项目124时,无法确定固定物体。混合现实框架调整工具114建立了3D协调系统(最初点与主控项目124的位置相对应)。第一个数字目标126(例如,全息目标)被预测为预定点(由所附对象124的偏移矢量d指定)。超过图像拍摄过程的长度,在先前指明的地点设定126人停留的初始数字目标。因此，即使用户的移动处理设备102 修改相机106视图118 也不是个好主意例如,将他的头从左向右转动,与现场真实世界观众相比,最初的数字目标126仍然是固定的。
在一个案例中,在应用配置阶段,通过已知位置和产品122相对于锚物体124或照片对象的已知位置或已知位置确定转移矢量。 例如,系统管理员可以在初始化图像检查工具系统设置112的同时指定偏移矢量。
与锚物体124相对的位置以抵消矢量表示。在所述位置，在混合现实框架协调工具执行时,最初的数字指标126将预计为114。理想情况下，多种矢量的定义是第一个数字目标126对利益对象指定地点的预测。例如，可以假设，当感兴趣的目标122位于平台上离锚项目124一定距离的地方时,将对其进行拍摄。在所示的示例中，120用户正在记录自行车上速度变速器的图像。例如，用户120能够定位自行车。轮胎前前和后 与预设的正正方形、标记等等对齐。等，保证后链路从固定的124号物品向偏向矢量描述的方向和距离移动。在另一个实现中，混合现实框架调整工具114有其自身的偏移矢量定义。例如，根据预设锚物体124和预设的有关对象122,制作了一个或多个输入图片。
在另一种实施例中，固定物体124是目标对象中嵌入的QR标签或其他物件(例如自行车的后置变压器)。在上述任一情况下，系统管理员可将偏离矢量设定为零。这些指示显示了第一个数字指标126,与100地区设想方案相对应,并载有锁定目标124。
除了该倡议最初的126项数字目标之外,该项目的主要目的是制造数字鸿沟。同时,混合现实框架调整工具114控制了预测光学部分104。因此,120岁的受众获得了第二个数字目标128。第二个数字目标(128)与106摄像头对齐。在整个照片拍摄过程中 100个地点 与现场相比 不断移动例如，即使106号摄影机在太空移动在固定物体124[x]提供的坐标系统中,第二个数字目标128将预测固定偏离相机106。y，x]的空间点。
106号摄像机由用户搬迁。根据摄像机106观测的调整,混合现实框架调整工具114可以改变第二位目标128的位置、大小和方向。在一个实现中，第二个数字目标128的大小随其距离和第一个数字目标126的预测而变化。例如，如果使用器靠近第一个数字目标126的固定位置,用户将能够使用它。因此,第二个数字目标128可能会减少。
在一个实施例中，检测到的相机106镜头与第一个数字目标126的固定位置之间的角变化触发了混合现实框架调整工具114。调整第一位数和第二位数目标126和128之间的角差。例如，第二个数字目标128首先可以在第一层的用户视图中显示。第一个数字目标126首先出现在二级扩展中,既不与第一平面平行,也不与第一平面相区别。当用户120避开目标摄像头观众122, 接近特定有利地点时, 用户表示:投影飞机可使用126的第一个数字目标移动。第一个数字目标126与第二个数字目标128越来越相似,反之亦然。同时,用户120和特定有利位置之间的空间缩小了。
当二位数目标128在规定的空间关系中与第一位数目标126一致时,拍摄对象的照片。例如，空间106号摄像头可由用户120移动。到第二个数字的目标128达到第一个数字的目标126为止。在同一或另一强制执行案件中,用户120调整移动相机106,以改变第二位目标128的大小和(或)方向。在第二个数字目标128的大小和(或)方向与第一个数字目标126的大小和(或)方向完全相似,达到规定的相似标准之前。
在一个实施例中，当满足所需的空间连接时,将现实框架对齐工具114的混合自动捕捉到对象的图片。用户输入 120 号信息是没有必要的。换句话说，用户不提供确定何时拍摄快照或直接开始拍摄图像的投入,也不提供确定何时拍摄快照或直接拍摄照片的投入。相反，当相机处于与锚物体124和图像物体指定位置有关的有利位置时,图像捕捉工具 136 自动接收图像 。
在一个实施例中，当虚拟目标的预定空间连接得到满足时混合现实框架调整工具114为120个用户提供了实时投入。例如,通过提供视觉或听觉提示。这可用于向120个以前自动捕获的用户发送图像。或可替换地，提醒用户提供输入,以便拍摄拍摄。
为展示如何使用通过混合实际框架校准工具114而获得的照片,图像探测器132也是显示处理设备102的一部分。例如，图像检验员132是一个经过培训的机器学习模型。在一个实施例中，利用培训数据130,培训图像检验员132。收集系统管理员提供的照片和监测学习投入是培训数据130的例子。例如，使用混合现实框架调整工具114,系统管理员可收集一组照片,照片类型与同一组装位置的同类产品相同。通过提供照片和监测学习投入,系统管理员可以培训模型,以确定“过失项目”。因为图像收集中每张照片的产品位置相对稳定,因此,与使用从不太一致的有利位置获得的物品照片的可比培训模式相比,经过培训的模型将更加可靠。
在一个实施例中，反馈工具134向120个用户提供实时反馈,可列入图像检查工具116。例如，如果使用120号用户使用混合真实世界框架调整工具114收集物体照片,他(她)将能够使用该工具。图像检验员132可展示图像。图像检查132然后评估图片中的项目是否具有特定属性。例如，产品是否有缺陷。实时反馈工具134将图像检测器132的结果反馈给用户120。例如,通过处理设备102个用户界面。在这种情况下，可以立即通知用户(例如,在拍摄快照几秒钟内,确定120张照片是否符合图像检查132的要求)。
图2显示混合框架对齐工具如何动态调整数字目标的位置,当用户被激励将相机定位在相对于目标对象或位置预定位置的有利位置时。
当您进入图像捕捉模式时,项目第一个数字目标(a)和第二个数字目标(B)使用现实的框架协调技术。第二个数字目标(B)预计将在现实世界中与确定锁定物品有关的一个固定点。第二个数字目标的投影位置应该与用户想要拍摄的东西的真实世界位置相匹配。
在整个图片捕捉过程中,第二个数字目标(B)并不因实际情况而改变(例如,它植根于),但它并不一样。带有头部显示的投影系统移动第一个数字目标(a)。准确描述系统摄像头的动向。因此，用户看到第一个数字目标(A)与现场比较,第二个数字目标(B)。
查看 202 显示当用户抬头时会发生什么 。摄像头的视野向上倾斜(如虚射箭头所示)。相机的视图与第二个数字目标(B)以上点相重叠。这意味着用户相对于图像对象的方向不同于指定有利位置的方向。当用户低头低头时初始数字目标(A)的位置已经改变(从用户的角度)。这篇文章是全球之声在线特稿的一部分。如视图204所示。在本例中，摄像头已被用户调整方向。将它们与符合预定优势的目标联系起来。
如另一角度206所示,第一个数字目标(A)可能出现在最初与第二个数字目标(B)不平行的平面上。这表示用户对图像对象的观点与预定的有利位置不同。当用户在图像项周围的圆圈中移动时,第二个数字目标(B)看起来正朝着角落前进。初始数字目标(a)与用户的视线平行。当摄像头的角度与所选的主张角度相匹配时,这两架飞机似乎彼此平行。如视图208所示。在这个示例中，摄像头已被用户调整方向。目标是从与既定目标的有利位置相称的有利位置。
从另一个角度看 210,第一个数字目标(A)和第二个数字目标(B)的大小可能不同。尽管他们指向使用者的眼睛方向,但他们指向和平的方向。这意味着用户与视觉对象的分离与指定的有利位置不同。在该示例中，当用户为第二个数字目标(B)走向一个设定的现实世界点时,将出现下列信息:初始数字目标(A)的大小有所扩大。用户在向相反方向移动时向另一方向移动。初始数字目标(A)的大小已经降低。如视图212所示。值得注意的是，可以利用各种视觉效果来传播同一想法。
如上文所述，针对捕获目标图像的情况,混合的现实世界对齐工具可以确定,第一数字目标(a)和第二数字目标(B)都能够实现预定的空间连接。在不同的实现中，可以使用若干标准来满足既定的空间连接。例如,一项或多项标准,取决于对齐、角度方向和(或)深度的具体规定。
在图2的示例中，预定空间连接的实现取决于相机对图像对象的定位、与图像对象的隔离、与图像对象的深度。目标与达到既定规格的目标之间的空间关系由混合现实框架调整工具界定114。并自动获取图像或将输出发送到用户这段影片用来证明摄像头位于该影片预设版本所描述的有利位置。这是一个人第一次亲手拍摄另一人的照片。例如,向该系统提供触摸、声音或视觉输入。
图3A-3D显示对混合现实框架调整工具的图解预测,该工具可用于帮助用户将相机定位在与感兴趣项目相比有利的预定位置上。
图3A显示了在上表304中应用的混合现实框架对齐工具获得的示例数字目标的起始位置。例如，可使用混合框架协调工具界定协调系统。所提供的坐标系统必须固定在现场固定的物品上。第一个数字目标 306是与目标相机对象的位置有关,通过特定偏移相对于公认的锚物体而预测的。投影人同时使用各种相对对齐工具,在固定地点预测第二个数字目标308,相对于304头数。因此，当用户 302 移动头部以改变头部 304 的位置时,头部 304 的位置会改变。第二个数字目标308已移到镜中显示的位置。实现预先设定的空间连接,可自动获取第304项头目中感兴趣的物品的图像。或者可选地，提醒用户提交导致图像被捕捉的输入 。
图3B显示当用户将相机从图3A显示的位置移动到预期受益地点时会发生什么情况。数字目标306和308相对移动。图3C显示当用户将第304号头号调整到特定优势位置时会发生什么情况。另一个相对变化是在设定编号指标306和308方面。这里，用户302已将头部从图3B显示的位置上调换。为了缩小范围 缩小到第一个数字目标306这使第二个数字的308项目标相对于第一个数字的306项目标转移。在一个实现中，将现实的框架协调工具结合起来,为用户提供302个视觉或声响建议。304现在的位置 与预设优势相匹配 作为标志头。例如，第一和第二个指标的具体目标306和308可以合并,以建立可改变的单独目标和(或)目标颜色。在一个实施例中，播放音频,将头 304 置于与指定优势位置相关的位置。
当 HMD 304 的位置与预定有利位置的位置对应时, 第一个数字目标 306 和 第二个数字目标 308 将实现预先定义的空间连接。 此时, 系统可以自动捕捉对象 312 的图片, 或者等待用户 302 给出激活图像捕捉的输入 。
图3D显示了图片检查工具的示例菜单选项314。如图3A-3C所示,当拍摄时,可以显示图像检查工具。这里，混合现实图形用户界面包括314模式菜单选项,作为其中的一部分。菜单选项 314 包括选项“comparare”、“retry”和“finish”。当用户选择“比较”选项时,例如,图像检查工具可以从数据库中获取参考图片。然后我们看一看照片, 然后我们一看照片, 然后我们一看它们, 我们会一看它们,我们一看它们, 我们一看它们,我们一看它们, 我们一看它们,我们一看它们, 我们一看它们,我们一看它们, 我们一看它们,我们一看它们, 我们一看它们,我们一看它们, 我们一看它们,我们一看它们, 我们一看它们,我们一看它们, 我们一看它们,我们一看它们允许人们主观分析这两张照片的相似之处和不同之处。例如，拥有一个无缺陷产品的参考图像 是一个好主意。使用户302能够确定新拍摄的照片中显示的物品是否有问题。
图4显示了用来帮助用户将相机定位在相对于图像对象的预设优势位置上的行动。第一个接收操作 402 获得真实世界物体的输入图片 并配有提供的定位坐标 。第二个接收器操作404界定了实际世界锚与预期的图像物体位置(例如:2D或3D的矢量输入。例如，系统管理员可以向启动或配置期间接收活动的方案提供402和404个输入。
正在使用的图片捕捉模式,识别以前被确定为坐标的真实世界物体,即406个识别地点的方位点。操作408将坐标定义为具有与公认的真实世界物体位置相对应的三维坐标系统。另一方面,第一个预测410则利用所述空间偏差将第一个虚拟目标投射到适当的图片对象位置。第二个预测412将第二个虚拟目标指向与系统摄像机有关的空间固定位置。当相机被用户移动时,动态更新第二个虚拟目标在三维坐标系统中的位置。保证第二个虚拟目标项目继续出现固定摄像头偏差。第一个数字目标已定位。来反射摄像头的动向在一个实现中，新的操作 414 根据相机与真实世界锚之间的距离调整第一个数字目标的大小 。
确定416行动是否满足了规定的空间连接,同时确定了第一和第二个虚拟目标。在不同的实现中，预先设定的空间连接可能受到两个目标的相对位置、方向和(或)大小的影响。如果发现操作416不符合规定的空间连接,则终止操作。这是我第一次 能够逃脱这种情况。只有在符合既定描述的空间关系之后才能决定。图片捕捉到这次418操作中 拍摄到图像的项目的图像。
相关专利：
Microsoft Patent | Mixed reality image capture and smart inspection
https://patent.nweon.com/22482
微软专利名为“混合现实图片捕捉和智能绝缘”,最初于2020年11月提交,此前由美国专利和商标局出版。