点击Viewnet Nweon访问参考资料/信息来源。
估计照明
(Nweon 2022,2004年)为了改善现实,真实的虚拟事物必须加入现实世界的愿景。光是不可或缺的。通过分析环境物体照片来估计照明质量的系统就是这种系统的例子。它至少面临两个技术困难。第一，可能无法充分准确地识别灯光。具体来说,对于高动态光亮强度的户外情况;第二,它涉及复杂的图片处理。
为了提高系统实施实时推理阶段的能力,微软在美国展示了第一个“根据参考项目图像估计环境中的活动”专利。使用参考项目照片来估计环境照明,这将有助于现实系统对虚拟事物应用适当的照明。
环境编码系统 104 环境编码系统 104 环境编码系统 104 环境编码系统 104 环境图象为混合编码110,物体编码系统 106 物体图象为另一种混合编码114。
环境图片是对环境的计算机化表示,例如地图。环境包含或显示一个或多个照明源的影响。例如，说明性环境照片108显示户外风景,以太阳116作为主要光源。对象图像是指至少包含一个引用对象的图像。然后，该参考项目照亮了环境图象所描绘环境中的光源。例如，说明性物体照片112中的参考项目具有人性特征,118。人类面部118描绘了光照射对人类面部的照明效应。由于上述关系，一副图片由环境照片108和物体图象112组成。
首先，由于环境编码系统104的结果,合并编码110是一个数据结构,由两部分(128、130)组成。矢量可用于表达这两节。由物件编码系统106生成的组合代码114也是一个由两部分组成的数据结构(132、134)。所提到的两部分也可以作为矢量书写。每个组合代码的第二个要素代表环境图象中低强度等级分级部分。每个组合代码首先说明高强度等级,作为独特环境图景的一部分。
在非限制性的例子中,第二部分的强度水平从低限值L.我不知道你在说什么, 分B.1(例如零)到上限值L.我不知道你在说什么,分B2, 包括L.我不知道你在说什么,分B1和L.我不知道你在说什么,分B2。
在图1的示例中，合并代码110第128节主要用于描述《环境图108》中的太阳116像素。为了计算第一部分128,环境编码办法104基本上省略环境照片中强度范围较低的任何像素。第二部分130的计算方法如下:环境编码系统104 将环境图象 108 提升到L. A. I. 不确定你在说什么, 亚B2 像素剪辑是L. I. D. I. 不确定你在说什么, 亚b2 值。
对象编码系统106 将对象图片112 转换为组合代码114。它对环境图像没有直接影响。但是，结果的综合代码114提供了实际或虚拟环境的近似值,产生了物体图画112中描述的照明效应。图1就是这方面的一个例子。在物体图象112中看到的照明效应是由环境图象108所描绘的周围环境产生的。这意味着由经过充分训练的物体编码系统106制作的组合编码114将完全取决于从物体图象112中得出的对实际环境图象的计算机估计108。
在一个实施例中，环境图象的强度值108大于物体图象112的强度值。换句话说，环境图象的动态范围108大于对象图象112的动态范围。例如，允许对第二个范围进行调整的强度水平可列入目标图象112。相比之下，第二波和第一波允许的强度水平包含在环境图片108中。请注意，物理世界具有光照特性,自然范围相当广泛,强度值也相当广泛。每个组合码所提供环境图像的强度水平同样可变。所以，每个代码组合都准确反映周围环境。
在一个实施例中，102个培训系统分三个阶段实施。第一，产生机制产生了120多张照片。例如,环境图片108和描述性物体图像112的描述性配对;第二,环境编码系统104的自动编码器由培训系统102培训。自动编码器由综合的环境编码器和编码器组成。环境编码器将环境照片翻译成中间编码。中间代码被环境解码器转换回原始环境图。对于环境照片,中间代码被用作组合代码的第二个组成部分;第三,在目标编码系统106中使用的机器训练目标编码器,通过培训系统102接受培训。
在执行第二阶段时，环境图片培训环境编码系统104是在数据内存122中提供的,而培训系统102是以自动编码器为基础的。更具体地说，在每102次轮换期间,培训系统将修改自动编码器的参数设置。为了使环境编码器能够将环境照片转换成中间表达式,环境解码器然后提供环境图像正确恢复的临时指标。在培训实施的第三步期间,对象编码器在物体编码系统106中使用的对象编码器的编码器的参数值由培训系统102进行迭接调整。使项目编码系统106的组合编码与适当的环境编码系统104的组合编码相匹配。例如，培训系统102试图改变物体编码系统的参数值106。环境图象106为环境图象108所创建的综合代码114与物体图象104环境编码系统所生成的综合代码110相比。图像1中的双头箭说明了这个概念。
为了完成上述培训任务,培训系统102可以使用任何目标职能。在一个实施例中，为了培训环境编码系统104,培训系统102采用MSE损失功能。在计算混合编码110的不同要素时,培训系统102可能使用不同的缩放因数。
图2显示了图1所示的图象到生成机制。产生技术产生120对照片。以及数据内存中的相片配对 122每张相片都包含周围的照片和物品。如上所述，环境图象所描述的环境包含或描述一种或多种光源(例如太阳)的影响。对象图片显示参考项目(例如,脸部),这些参考项目现在与环境图像中描述的环境相关。培训系列202由许多配对组成。
图像到图像系统120包括一系列设备和(或)软件模块,用于制作培训系列202。例如，图片作为一台或多台图像捕捉装置,用于生成120号系统。用于拍摄静态图像和胶片的任何摄像头都可以列入摄像设备204。在一个实施例中，环境照片可以使用图像捕捉系统的第一台照相机(或第一台照相机模式)拍摄。使用第二个相机(或第二个相机模式)拍摄物体的照片。第一台照相机(或照相机模式)可以以比第二台摄像机(或照相机模式)更宽的强度拍摄图片内容。最初的照相机可能是高动力射程(HDR)照相机。第二台照相机可以是低动力射程照相机。
图像到构件系统120能够利用图像合成部分206手动生成图片配对。例如，图像合成组件206可能利用任何翻转流,在一系列视角和位置上产生3D模型。绘制多个项目的图片可以通过多种方式对各种物体的照片使用光照管。例如，基于真实世界(相机拍摄)或模拟环境的图片。图像配对由合成物体图片和真实或合成物品照片的任何组合组成。
图像生成系统120可能另外提供图像变化部分208。它有能力改变图像捕获装置204和/或图像合成组件206所收集图像的任何属性。例如，图像更改组件 208 可能水平翻转一对照片以生成一对新图像 。任何图片和/或图像中的每个单个对象的颜色、强度水平、比例和其他图像改变组件也可以更改。
环境编码系统
图4显示了环境编码系统104的成就之一。强力分割构成部分402是环境编码系统104的一部分。它使用环境图片108来制作第一和第二内容图像404和406。我不知道你在说什么, 子B2部分, 但图404的第一个元素 突出输入环境图像的中等强度值 108 超过L的设定强度阈值。第二幅内容图406强调输入环境图像108的中等强度等于或低于L的强度阈值。我不知道你在说什么,第b.2分节。
第一个组件代码 110 的 128 点由第一个内容代码 410 部分绘制为第一个内容图像 404 。合并代码110的2 130点由第二内容代码组成部分412绘制到第二内容图像406。第一.128和二.130部分合在一起,生成与某些环境图像有关的合并代码110。
第一个内容代码构成部分410可以各种方式获得。在第一种方法中，第一个内容代码组件 410 与使用任何类型的数据算法构成第一个内容图404的合适阵列匹配。例如，第一个内容代码构成部分410采用Levenberg-Marquardt关于第一个内容图404中数据点的Levenberg-Marquardt方法,将高西亚混合模型(GMM)合并起来。更具体地说，第一个内容图404中的值可用于通过第一个内容代码组件410将二维 GMM 和每个颜色频道匹配到第一个内容代码组件410。在环境图108中,治疗开始时的RGB值最高。色化的 GMM 中心位置应该相同 。这是所有颜色序列中最强烈的 。
代码110的第一部分由第一个内容代码组成部分410的第128部分产生。以及描述上述公认的全球监测机制的一套变量。例如，要表示全球监测机制,第一个内容代码组成部分410可能包含5个值中的1个值。前两个值描述 GMM 中心的位置 。最后三个变量定义每个颜色频道的强度 。第一个内容代码组件 410 可以使用任何定位机制 来指定高斯中心的位置
图5显示了第2个内容代码组成部分412的成就之一。第二个内容代码构成部分412由自动编码器502和一种环境编码器504和一种环境编码器506共同代表。环境编码器504将第二个内容图406定位为508,位于第二个内容图406的中心。环境解码器504表示原始的第二个内容图像406版的508张中间图。培训系统102的目的是为自动编码器502创建参数值。由于这是第一次拍摄原始第二版内容的图片, 由此产生的406版与原始第二版内容图像406非常吻合。换言之，培训系统102的目的是教授自动编码器502新指令。博客在将第二部内容406的图片改写到508的中心之后写道:它有可能将它恢复到原来的状态。为了执行这一任务，自动编码器还必须生成中间表达式508。
环境编码编码器504的中间表达式508作为合并编码110的第二部分130使用,第二部分130是一个矢量,在一个例子中有16个值。结果的合并编码110说明了第一部分128和第二部分130之间的联系。
CNN 510 具有任何数量编码器层的编码器,可用于创建环境编码器504。同样，以任何数量的解码层,环境解码器506可能达到CNN 512。有些实现通过使用其他计算机可以学习的模式或其他技术,产生了第二个内容代码组成部分412。例如，另一种可能性是利用生成模式获得第二版内容代码构成部分412。生成对抗网络(GAN)可用于培训生成模型。
对象编码系统
图6显示了物体编码系统106的例子。物体编码系统106是作为一套运行管道建造的。背景首先确定对象图像112中的参考项目,然后删除602部分。并删除不属于引用对象的对象图像 112 中任何背景元素。此方法生成没有背景的图片 。在本例中，上面提到了人体的面孔
任何分隔技术都可用于进行背景清除部分602。例如，为了在目标图112中确定候选区域,背景排除了第602部分。然后使用经过机械训练的模式对候选区域的内容进行分类。在图6的示例中，背景清除部分602可以删除被列为人脸的区域(如果有的话)。
强度转换组件604将从背景中提取的图片中的 RGB 值( 或其他颜色值) 转换为强度值 。显示从背景图片中删除的光量。由此可以清楚地了解物体图象112的强度值。为了不受限制地实现,强度转换可以为基于红色(R)、绿色(G)和蓝色(B)分数线性组合的像素提供亮度Y。
然后，使用对象编码器606,将强度图像转换成合并代码114。在一个实现中，对象编码器606可以作为有线电视新闻网实现,有608个编码器层。对象编码器的606个向下锥形显示,它分析的信息的大小不断降低。从强度图像开始，以21的值组合完成
系统以这种方式将对象图片转换成组合代码。 增强的现实系统随后可以使用相关技术生成的组合代码对覆盖的虚拟物体应用适当的照明。
相关专利：
Microsoft Patent | Estimating illumination in an environment based on an image of a reference object
https://patent.nweon.com/22885/
微软专利申请于2020年10月提交,题为“根据参考项目图片估计环境中的应用情况”。美国专利和商标局发行了该书。