点击Viewnet Nweon访问参考资料/信息来源。
生成逼真的人体表现
混合现实技术使得与人类互动的全新方式成为可能。所有申请都针对个人。所以，产生真实的、高度安全的人的表达能力对于用户的经验至关重要。虽然外部传感器和照相机可以产生令人印象深刻的结果,但它们也可以用来帮助因特网的发展。然而,仅仅用头部展示的人的表达方式仍然是一项艰巨的任务。HoloLens 和 Quest 数据只提供头部的位置和方向。手的位置和方向就总体机构态势和运动而言,这是一个非常扭曲的信号。
作品“FLAG:来自粗皮组织的以流动为基础的 3D Avatar General”已经出版。微软公司建议采用新的稀释性输入技术。具体来说，该小组使用吹风模型学习头部和手部数据的身体位置条件分布情况。反过来,模型可以提供一个3D位置分布和基分布之间的可逆地图。然后，模型的可逆性使得能够从条件到同一基本分布的高度相似地区对概率图进行进一步调查。这个技术被研究人员称为“低基 3D Avatar General”,
这种设计的好处除其他外包括:
首先,使用基于低位的模型来设定准确位置,能够与基于VAE的假设位置估计的LKelihood状态相比较,计算出位置;
其次，由于创建模型的可逆性,可能计算出甲骨文潜伏代码。在训练过程中，地图函数的地面真相将是甲骨文潜伏代码。这样就可以从观测到的头部和手部到平方空间进行有代表性的绘图。因此,所建议的技术是一种强大的预测模型。
最后,在优化装配空间或潜伏空间时,将所述模型作为预置位置,可以改进潜在空间的初始化,使优化非常成功。
这是我们第一次能够开发出一个模型, 作为一种基于可能性的模型, 使用"正常吹"。此方法表示数据的概率分布 。与VAEs不同，VAE公司的主要问题是确定适当的近似分布。使流动正常化只需要基本的基数分布(先验分布)和一系列有待界定的二进制变化。
就微软的计划方法而言该小组的任务是在很少观测到XH和Beta形状参数的情况下,开发一个整个身体位置 x XH。联合轮换时使用 XR3xJ。作为J关节的忧虑之一x9xK表示全球6D联合轮换。有关的资料可从人体参数模型中收集。例如SMPL。
创建X光是生产XHXH的高效方法。我们已经很久没有办法摆脱这种情况了了解所提供xH和贝塔观测的体位分布。虽然这一战略可能有利于形成环境,但它也可以被用作帮助环境增长的工具。然而,产生过程仍未完成。为了为 XH 和 Beta 创造新的工作,必须取样潜在变量。然而，取样程序完全独立于观测结果。尽管平坦空间z=0(完全零矢量)的平均值被用于生成整个位置,但它与平坦代码的平均值不同。研究人员声称,潜伏代码高于z=0。
要获得这么低的代码,该小组的模型是其类型的第一个模型,它计算出低调调低调(H)分配的子领域。∑H），给定xH和β，然后对潜在变量进行取样,以提供一个完整的身体位置。在测试时，为了达到 XH 和 Beta 的完整身体姿势,研究人员使用ZH生成平面代码N(H)。∑H），并用作的替代品。导致整个身体位置的 板块代码是旦
他们利用x = ft (zH, [xH, 贝 ) 来估计其身体的总位置。 下一步, 定义 ft 并讨论如何模拟 N (H, H) 。
使用非合成飞行模型,小组复制X射线的散布。对于 xH 和 beta, 模型fp 是自然的 RealNVP 条件 。这可以通过简单的可逆组合来实现,将XX从位置分布转换为基本分布(反之亦然),这些组合可用于计算X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X 的大小。每项修改都有可能扩大或缩小投入的分配。
虽然对从基本分布中取样的旦对构建人类位置的每一种可逆变化所作贡献的审查不是直接的,但它确实表明,关于变化的影响有许多证据。然而,专家们希望,每次连续的改变将改善它所行使职能的人力职位的分配。为了了解每项变化的意义,这些说明人类的姿态是如何通过模型的所有变化形成的。
如图3a所示，中间分配的大部分明显变化后来发生。其中，人们注意到一种人性化的立场。研究人员认为，这是因为监督的唯一来源是GT职位,这显然领导了最后转换阶段。为了充分利用扇翼中每个可变区块 并简化训练他们主张实行中间监督。
除了用作最后变换输入的GT职位外,GT职位还用作团队中间变化区块的投入。这些似乎是子网的最后一部分。这是可能的，因为苍蝇的变化对数据层面没有影响。因此，为了诱导中间转换区块产生适当的人的态度,并充分发挥其能力。图3b显示在中间和非中间监督下态势的演变情况。图2显示中间监测如何提高位置设定的有效性。
为了设立一个新的职位,给定xH和β，您必须从基本分布中提取大量样本 。然后用它生成位置 x = f(z),[xH，β]）。在传统的低基模式中,这不是解决这一问题的唯一办法,但最好的办法不是解决这一问题的唯一办法,而是最好的办法。另一方面,微软则认为,所建议的技术不是理想的答案。证据可以逆转。
由于在培训过程中一直知道甲骨文末代码,所以它无法了解到底发生了什么。因此,模型可以绘制基本分布区的条件(xH和贝塔)。利用z ，当您使用 f - dap 从基本分布转换到已配置的空间时, 您可以看到您将无法在余生使用它。探讨基本数量分配的改变是可行的。以及隐藏编码的概率变化。小组利用高斯函数来模拟感兴趣的领域。并从属性 H 和 H=diag (选择 H) 2 获取知识 。
提供不寻常的观察。 当只观察到头部和手部时,有各种看似合适的身体位置。 基本分布中的对应子区域必须针对每个看起来合理的位置来知道。 考虑到赋予的重要性质,团队根据变形器建立了绘图功能。
为了代表地图功能,研究人员提出了一个以变换器为基础的模型。在培训期间,利用自学技术了解身体各关节之间的相互作用。简而言之，向变压器输入 xH 和 beta 。并估计N（ H，∑H），H训练是甲骨文潜伏代码Z的近似值
为了代表整个机构 以这种分配,小组作出了许多设计决定。图4描绘了模型。首先，采用诸如直接训练稀释等模式是困难的。为了简化模型，研究人员确定了一项辅助任务。变压器编码器的输出用于生成X光。第一个目标是从整个机构联合体重建X光片。然后(通过蒙面)逐渐减少代码连接的可见度。直到头部和手都交齐了
协助变形人学习如何行为该小组又增加了另一项辅助任务。是一种基于观察到的接合点的平坦联合预测。其渐进式遮罩和预测(Masked联合制导师)使模型能够利用输入中提供的接合层来推断整个身体表达式。为了从变压器编码器获得干净的信号在产出接合点上,它们使用集合(PoolH)。只有头和手被抓住。
变压器的输出是决定性的预计职位没有不确定性估计数。因此，微软建议以变压器编码器(通过ToLatentSpace)的输出为基础。对平坦空间对身体位置的影响进行模型模拟。团队可从这种分布中取样一个离散潜伏变量(Gumbel Softmax需要的变量)。利用指定的辅助工作,制作X光片。相反,使用整个短语来估计N(H)值。(H) (利用晚期区域近似物)。
为了准确代表人类运动的复杂分散研究人员需要巨大的广阔空间。因此,出现了大量的潜在类别。为了解决这个问题，他们在2D优等舱工作如图4所示。该小组开发了一个Gvilatent变量模型。每个潜在的变量都负责M模式。它使使用MG单热潜伏编码成为可能。
对于学习，小组使用了多个3D身体模型的数据集。即使整个模式可以进行端对端教学,也可以用作培训工具。但是,他们看到,他们最初接到指示要这样做。接下来,在潜伏地区, 我们将训练接近者 极其成功。因此,从一开始就可以获得正z。第二阶段培训非常迅速。4个GPU时间。
接下来，然后按照给定的观察值计算 H。给定 XH 和 beta 的体位由 XH 和 beta 组成。然后用H作为近似值创建位置 x (H),[xH，β]）。为了进一步提高职位设置的质量,在优化方面,脚基模型可以与先入为主的位置概念一起使用。是一个减少先前知识数据的成本功能。在形成的空间和其他地方,都可以实现优化。这在潜伏空间也是可能的。值得一提的是，从开始到结束,小组依靠LBFGS优化器。
在实验中，研究人员最初毫无限制地对VAE编码器编码器进行彻底培训。在下一步中，训练另一个VAE。因为研究人员建议的战略 是一个预先定位,它们与目前状态的态势形成鲜明对比。此后,对议题设置作了修改。在图8中，微软公司已经证明它是部分的或不受监督的。FLAG可以提供非常明智的立场。
然而,情况并非总是如此。如果观察非常稀疏，FLAG可产生极为合理的立场。尽管如此,小组的坦率可能不会造成困难、不那么普遍、中下作用。另外，FLAG仅使用静态位置数据。因此,扩大《公平竞争法》的范围,将时间数据纳入其中,显然是一个研究课题。同时，团队只提供模型头部显示信号在其他AR/VR假想情况中,可以使用其他模式，例如,音频或环境扫描。
虽然FLAG的目的是确定更好的潜在守则,以确立可接受的立场,但这是无法实现的。尽管如此,小组认为,潜伏代码和甲骨文低代码之间仍然存在相当大的差距(见表5)。不过，微软公司指出,在这一领域进行更多的研究可能会导致更加忠诚和准确的化身。
相关论文：
FLAG: Flow-based 3D Avatar Generation from Sparse Observations
https://paper.nweon.com/12149
总的来说，FLAG是一种新技术,用来从一个细头信号中得出合适的身体位置。FLAG是飞行状态的三维人类生产模型。团队证明，潜在可变取样过程的结果所述技术是一种强大的预测模型。在许多优化情景中,这是一个先验的成功态势。根据实验评估和消散研究,仍有许多工作要做。关于困难的AMASS数据集,所述方法的性能超过了最先进的方法。它还需要减少最佳重叠。而且误差非常小。