资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

已向开发者开放,Meta身体追踪API如何识别下半身?

原创 2022-10-25

Esther | 编辑

多年来,Meta Avatar(前身为Oculus Avatar)没有下半身这件事常常被人吐槽,今年Connect期间虽然Meta演示了全身Avatar,但却被爆料是使用动作捕捉来驱动的全身追踪。为什么Meta一直不推出Vive Tracker那样的身体追踪模块呢?这是因为,Quest策略是降低普通人使用VR的门槛,如果只通过VR头显+手柄就能追踪全身姿态,这对于普通用户更加友好,成本也比加上追踪模块的方案更低。

这也是为什么,Meta Avatar全身版的进展很慢,而目前只能在第三人称视角中为Avatar配备虚拟腿。为了解决这一问题,Meta似乎想要通过机器学习和逆向运动技术来推算下半身动作,而在Connect上公布的Movement SDK,则似乎是这一策略的基础。
据悉,Movement SDK是Meta在Connect 2022发布的眼球、面部和全身姿态追踪开发套件,旨在提升VR的社交存在感。近期,Movement SDK正式对开发者开放,Unity、Unreal、OpenXR开发者均可使用Movement SDK。

Body Tracking API

为了让Avatar看起来更加自然,能够拥有全身形象,Meta想出了两种方案,一种是在第三人称模式下为Avatar添加虚拟腿,也就是说你看别人是有腿的,但你看不到自己的腿。另一种方案,则是Body Tracking API,通过VR手柄和手,以及VR头显的位置,来推算出用户全身动作。

Movement SDK的一大亮点,就是包含了Body Tracking API,也就是身体追踪API,其功能是可通过追踪用户双手/手柄和头显的位置来实现三点追踪,并通过算法来实现逆向运动学模拟,控制全身Avatar。

Meta表示:Body Tracking API在手势识别模式和手柄模式中均可使用,这两种模式均可模拟完整的上身骨架,无需开发人员进行额外的逻辑处理。细节方面,Body Tracking API使用一系列抽象的节点来代表用户全身姿态,并且将这些节点映射到虚拟化身的关节上。这将允许Quest用户实时控制Avatar的全身动作。硬件方面,则支持Quest和Quest Pro,不过并未明确是Quest 1还是2,猜测前期大概率先支持Quest 2,后续也许会支持Quest 1。

Body Tracking API主要由三个部分组成:OVR Body、OVR Skeleton和OVR Custom Skeleton,这三个组件可通过手部/手柄位置和头显位置,来控制虚拟化身的骨架动作。简单来讲,Body Tracking API不仅可以控制Meta Avatar,更重要的是允许开发者在VR游戏中加入全身追踪功能,允许游戏角色的全身动作反映出玩家的实际动作。

1)OVR Body

OVR Body可访问实时的身体追踪数据,并推算出全身70个关键节点的位置和旋转角度,还会为这些节点评估追踪可信度。全身追踪支持开启后,OVR Body便会实时更新身体追踪脚本属性BodyState。其中可信度评估可用于优化全身追踪效果,在追踪丢失期间可以使用IK方案来推算并覆盖节点的位置。Meta指出,这是一个高级功能,大多数情况不需要。

2)OVR Skeleton和OVR Custom Skeleton和OVR

Body Tracking API包含了两个互相排斥的骨架系统:Skeleton和Custom Skeleton,这两个骨架都可以控制VR游戏角色,使用哪个将取决于角色绑定。如果需要将OVR追踪节点映射到所有的身体关节,或是未映射的骨骼不影响虚拟化身的动画质量,则可以选择OVR Custom Skeleton。

简单来讲,OVR Skeleton负责初始化和更新OVR Body捕捉到的身体追踪数据,并将这些数据转化为OVRBone骨骼。

开发者可以将VR角色的骨架设定为与OVR BoneId对应值相同的名称,以将现有的虚拟化身骨架与OVR兼容。而不兼容的骨骼则需要使用OVR Skeleton组建,重新将骨骼节点定位到OVRBone数据。骨骼映射部分,可选择手动或自动。在一些场景可能需要重新映射骨骼,Meta表示:由于许多自定义角色会有不同的装备,他们不能直接使用OVRSkeleton和OVRBody。这需要重新定位。

目前,骨骼重新定位仅限于人形角色,还尚未在非人形角色上进行测试。

非真正全身追踪

值得注意的是,尽管Body Tracking API从名字来看是身体追踪的意思,但实际上它并不能准确追踪下半身,只能预测。从Movement SDK示意图来看,Meta Avatar似乎可以支持全身追踪,但如果更仔细看,会发现图片中的细节主要集中在面部追踪部分。

Meta发言人证实,Body Tracking API目前只能模拟VR用户的上半身骨架,并不能追踪下半身。该技术结合了逆向运动学(IK)和机器学习(ML)技术,由于Unity、Unreal引擎内置IK,开发者不需要学习IK原理即可应用在全身虚拟化身中

目前,Quest的手势追踪功能已经做得足够稳定,通过Quest Pro的传感器,也开始支持眼球和面部追踪。尽管还不支持真正的全身追踪,但相信面部追踪只是Movement SDK的起点,未来还有望扩展到全身。Meta也指出,未来几年Body Tracking API的功能还将继续改进,从现在就开始采用该API,意味着之后使用升级的全身追踪功能无需切换不同的界面。
不过,除非VR用户使用定位模块来追踪全身节点,否则仅依赖IK很难准确追踪VR用户的全身(每种头部和手部位置组合,都可能推算出不同的下半身位置),因此全身Avatar动作可能会与实际动作有出入。相比于市面上的IK技术,Meta的Body Tracking API号称可通过机器学习技术来提升预测的准确性。从早前Reality Labs公布的方案来看,Meta已经在相关研究上取得进展。
关于QuestSim
早在今年9月,Reality Labs就公布了一项由神经网络驱动的全身追踪系统:QuestSim,该系统的特点是可根据Quest 2头显和手柄的数据来预测全身姿态,无需额外的追踪器或外部传感器。从Meta的演示视频来看,QuestSim预测结果足够接近,尤其是VR使用者的腰部方向比较准确。
Reality Labs称,QuestSim生成的全身动作与真实动作非常接近,其准确性和抖动方面甚至优于穿戴式IMU追踪器。不过,QuestSim系统延迟达160毫秒,追踪速度似乎并不是很快。
应用场景方面,QuestSim不仅可以模拟第三人称视角的全身Avatar,未来也可以通过硬件升级来实现更准确的追踪,比如在VR手柄上加入额外的摄像头,也许可以更好的捕捉下半身数据。考虑到Quest Pro手柄内置追踪摄像头,未来也许会用来扩展下半身追踪和预测的效果。
参考:
https://developer.oculus.com/documentation/unity/move-overview/
( END)
 
每天五分钟,轻松了解前沿科技。    
         —— 青亭网  

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号青亭网 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 新媒体艺术 API

13321 举报
  0
登录| 注册 后参与评论