资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

扎克伯格:AI技术才是AR和VR的万物之源

原创 2022-02-24

hi188|编辑

在去年一连串的轰炸之下,“元宇宙”这个词终于被“用滥了”。

当Meta提出全面转型元宇宙时,就已经骗过了不少人。而当那些追随者纷纷晒出自己所谓的“元宇宙”产品时,Meta再一次拿技术实力打了它们的脸。

充分结合了AI技术,将是未来AR/VR发展的重要一环,这一点我们在Quest 2、以及Workrooms等产品上已经看到。包括Quest 2的定位追踪,手势识别,桌面和沙发追踪,键盘追踪等都不离不开AI技术的加入。

这一次,Meta打算进一步发挥AI的作用,让AI技术生成你想要的虚拟场景,“你说出来,机器就做出来”,给了一众BUG多、审美怪的”元宇宙“怪咖当头一棒。

不仅如此,这项研究基础“基于AI的语言和机器翻译模型”也将被用于更多场景。在今天的AI技术论坛(Inside the Lab)上,Meta向外界展示包括:Builder Bot、基于LASER语言工具包的多语言翻译模型、语音助理AI模型Project CAIRaoke、成立人工智能学习联盟,免费在线提供课程。

同时,Meta熟悉AI科学家杨立昆也分享了打造具备生物级别思考能力的AI模型愿景,通过自主智能架构,让AI模拟世界的运作方式,接近人类智能水平,简直不可思议。

当然,我们在本文中将重点来说一下Builder Bot和多语言翻译模型。

1,理想化的三维场景创建模型

众所周知,目前的VR设计平台一个重点就是虚拟场景的丰富性,其中包括头部VR社交平台已经允许用户自定义虚拟场景,这是保持多样性的重要一步。

对于大多数而言,在三维场景中(例如佩戴VR条件下)创作并非易事,不仅效率低下,而且难以达到理想的状态。当然,我们知道很多的虚拟场景基本上也都是在2D屏幕下,通过专业设计师或准专业人士(爱好者等等)来开发的。

所以,对于Meta这样的企业也一直在思考,VR和AR中的便捷性如何体现。

AI或许是最好的方案。就像是如今AI创作画作一样,将AI技术延伸到三维场景中,你指出要说出你想要的场景,Builder Bot就能帮你实现。

从上面的视频也能看出,扎克伯格的整个演示视频基本十分流畅,机器能够听懂创作者意图并且给出基本合理的场景,很难挑出其中的瑕疵。

扎克伯格表示:AI是元宇宙的关键技术之一。正如AI、机器学习等技术在其它领域的应用,在虚拟场景中它可以用来帮助我们很好地理解上下文,甚至像人类一样理解和预测我们想要做什么。这一趋势,未来会更为明显。

2,人工智能学习联盟

在介绍翻译系统之前,我们先来看一下Meta的人工智能学习联盟。

扎克伯格举例表示:目前的AI系统多收到过监督学习训练,也就是说,如果想让系统知道这张照片中是一只猫,就需要明确告诉它,并且拿出几万张猫的图片进行标注,让系统进行监督学习。这些系统有着不错的效果,尤其是用于图像和视频领域,但前提是需要进行大量数据标注的学习过程。

因为在虚拟的三维场景中,环境复杂多变,就像现实环境一样,几乎很难用传统的数据标记法进行监督式学习,因此也就无法支撑自由、随意互动的元宇宙生态。

Meta首席AI科学家杨立昆,也是2018年图灵奖得主,他认为:“自监督学习”可以提供真正的接近人类思维的AI系统。感兴趣的朋友,也建议读一下杨立昆的《科学之路》这本书。

自监督学习的优势在于无需给出数据标注,模型可以从无标注的数据中自我学习,是一种理想的机器学习模型。

目前Meta已经联合13所大学组成联盟,组成了有史以来最大的自我监督学习数据集,目前积累了几千小时的第一人称视频,大家可用于研究在虚拟空间中的任何工作。

3,多语言翻译系统

虽然现在翻译软件已经能够很好的应用到文本中来,YouTube视频也支持提取英文并进行翻译,但是在三维场景中存在同样的问题。

如同我们日常生活,在虚拟场景中与任何人交流时并不会看到文字或字幕,即便是外国人。因此,常规的翻译方案并不适用于三维场景。

扎克伯格表示:目前全球仍有近一半人群无法在互联网上使用自己的语言,例如在中非和西非地区有几百万人的语言在互联网并不流行,只能访问英文或其它语言。

另一个现实是,即便目前最主流的机器学习翻译模型,也只能通过英语作为中转语言,即:将A语言翻译为英文,再将英文翻译为B语言。

而这就会给翻译增加一些噪点和不确定性。为此,Meta推出了开源AI翻译模型:LASER语言工具包。

LASER特点是可以将任何句子转换为其它语言,省去了英文中转步骤,例如A语言可以直接翻译为B语言。

目前,已经支持100多种语言的翻译,并且进行了1400小时的法语、德语、西班牙语、英语之间确定性的语音对齐。这其中的难点包括:口语到书面语的表达形式不同,尤其是少见的没有书面习惯的语言。

为此,Meta也正在开发一套语音到语音翻译系统,即可以实现:A语言的人说话,B语言的人直接收听翻译后的语音。Meta表示:这种方法已经被证明比常规单独语音识别+机器翻译的合成模型要更快。

当然,这类语音到语音的翻译系统,更是为了今后的AR眼镜所准备,届时一套接近人类翻译水平的实时翻译眼镜就。

除此之外,Meta还公布了CAIRaoke,这是一套专为AR虚拟助手开发的AI对话模型,目的是让机器人聊天助手更好的理解你的说话内容,可以更好与你对话,在三维场景中互动。

( END)


 
  



 
每天五分钟,轻松了解前沿科技。    
         —— 青亭网  
阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本内容由数艺网主动采集收录,信息来源为 “青亭网” 公开网络发布内容。第三方如需转载本内容,必须完整标注原作者信息及 “来源:数艺网”,严禁擅自篡改、删减或未标注来源转载。 并附上本页链接: 若您的内容不希望被数艺网收录,或认为此举侵犯了您的合法权益,敬请通过微信 ID:d-arts-cn 联系数艺网。我们将致以诚挚歉意,并第一时间为您办理下架或删除处理。

数字媒体艺术 AI技术 三维场景 创建模型 人工智能

15186 举报
  0
登录| 注册 后参与评论