资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

首届AR创作应用大赛—我们竟然中了榜眼!

原创 2020-09-07


喜报!喜报!

在首届Unity与商汤科技联合举办的 “2019AR创作应用大赛” 中,新剧元AR交互舞蹈作品《平行》过五关斩六将,在400余份作品中脱颖而出,荣获
二等




AR技术新一轮的爆发与应用,为生活和工作带来了创新的交互体验,而在艺术和美学的应用却一直属于小众领域。新剧元致力于AR技术在艺术、美学领域的应用与扩展,开发的AR原创实验舞蹈作品《平行以全新的视角,独特的观感,将技术应用与艺术巧妙结合,最终在大赛中脱颖而出。

AR交互舞蹈《平行》完整视频(观看时长:5 Min)




▲《平行》 精彩镜头







01

创作的初衷

摄影当中,平行(parallel)这一名词可以说是相当基础的概念,同时平行也广泛的发生在我们生活的各个层面。我们为什么会以《平行》命名一个AR舞蹈作品?


▲作品之中虚拟世界与真实世界的不断切换(一)


增强现实技术(Augmented Reality,简称AR)其实就是将虚拟内容叠加在真实世界的环境之中,并且在这一过程中通过摄像技术的传导能够被人类感官所感知,所以我们的舞蹈最终在咔嚓咔嚓的快门节奏下,实现超越现实的感官体验,达到艺术与技术跨越空间的融合。


▲作品之中虚拟世界与真实世界的不断切换(二)

▲《平行》剧照



因为增强现实技术无法离开人对身体的体验而存在,经过多次探讨,我们最终决定借由舞者的运动与身体来组合成作品中所谓真实的空间,通过现场的摄像机与大量实时交互的视觉符号,构建出作品中虚拟维度的空间。


但是,正如法国哲学家鲍德里亚提出的经典理论——“拟仿物代替了真实,拟仿物生产出拟像”,整个作品通过一个真实与虚拟的混合状态呈现在观众视觉体验当中,那么到底真实与虚拟的界限在哪里?这既是留给观者的一个提问,也是创作者们所需要寻找的自我回答。







02

前期设计部分


在最早期作品策划还没有太多眉目的时候,我们在北京电影学院的一次讲座中邂逅了日本新媒体艺术家浅井宣通,他对自己的作品《INORI》的解析给予了我们极大的启发。会后我们将自己想要创作“平行”这样一个概念AR舞蹈的想法与他交流,他对这个作品给出了启发性的建议。

浅井希望我们在创作的同时,更关注身体的探索之外,找到一个作品真正的内核所在,这个“核”不仅要蕴含的对于技术的反思、更要从细节中流露出的更深刻的人文关怀。我们也希望能够创作出有温度有思考、不仅仅停留于视觉与感官层面的新媒体艺术作品。

浅井宣通“INORI”系列作品


在表现形式上,我们借由了日本新媒体艺术家真锅大度(DAITO MANABE)的经验,不仅是宝贵的视觉参考,也提供了许多工作方法上的启发。

作品采用双人舞的表演形式,并且结合了音画联觉与AR特效。两位舞者根据现场音乐进行即兴表演,表演时长约为3分钟。投射的影像根据现场采集的效果进行AR处理,特效效果依据音乐旋律与舞者运动而产生变化;根据后台切换拍摄视角,最后将计算机计算的AR效果,用投影媒介进行投射。


▲《平行》早期设计图


在观看两位舞者精彩舞蹈的同时,还可以看到银幕中由摄像机进行实时传输的、融合了增强现实效果的现场画面。在设计过程中,特效与舞蹈动作同步进行设计与编排;工程与舞蹈部分紧密结合、同时推进,从而将概念讨论阶段的成果更好的融入视效设计与舞蹈编排这个两个实际呈现的部分,使得作品内涵更加丰富。





03

舞蹈设计访谈部分


编舞田湉老师在现场指导舞蹈与视效配合


在编舞方面,我们请来了北京舞蹈学院专业导师田湉。
谈及舞蹈设计的整体理念时,双方一拍即合,《平行》要强调的是身体在视觉整体中的“交互性”。身体本就是媒介主体,身体之于整体视觉中的功能。作为舞者的身体,在其中是全身心参与的,拓展了感官的维度,创造了沉浸性体验。


▲针对舞蹈演员脸部的动作捕捉


从整体上看,《平行》的舞蹈结构设计与技术设计紧密呼应。当舞台平面生成一片由音频控制的粒子效果时,这时舞蹈上对应的是两个舞者的位移;当技术实现为“手部”效果时,舞段相应配合定点手部高低、错落有致的舞动;当捕捉到“脸部”效果时,舞者则会呈现脸部的细化表情,使观众集中观看有面部捕捉而实现的实时效果;当舞台生成“拉扯”效果时,配之以两个舞者的对应相向的舞动关系以及大面积大幅度的舞动来呈现。

                                                                                                                       — 编舞 田湉






04

特效设计与技术部分:



工程师在现场调整视效内容


从技术的角度来看待《平行》,其本身是一个现实增强交互舞蹈项目。通过使用商汤科技开发的 SenseAR 工具及人工智能技术,实现了图像识别与追踪、虚拟摄像机控制功能、人脸识别功能及动作捕捉功能。


▲针对舞蹈演员身体的关节点位抓取与视效配合


在使用人工智能技术进行动作捕捉时,为了排除可见光的影响,我们使用红外摄像头加相应波段的红外补光灯,大幅提高了动作识别的准确度并排除环境干扰;通过 RTSP 技术对 RealSense 拍摄画面进行传输;而 RealSense 的深度摄像头则识别得到的点云信息,实现了在虚拟世界中对演员身体轮廓的重建。


工程师与编舞团队在现场整体调整视效内容


程师团
调整红外补光灯,以获取更
好的识别效果


在视效内容制作上,我们利用 Unity 提供的 Timeline 工具对不同段落的内容进行编排,控制在特定时刻向外部程序发送的信号等等,在可视化 UI 上可以方便快捷地作出修改。在成品特效制作上,主要用到了 Unity 的 Visual Effect Graph 工具,并使用了 Processing 制作一系列的辅助工具帮助整个工作流更加高效流畅。


▲现实测试中的场景


 ▲游戏引擎中重建的场景



演职人员表


导演 邱寅劼

编导/编舞 田

作曲 王熙皓

舞蹈演员 李禹瑶、王宣

效果总监 徐楚燕

效果制作 王兆栋

统筹 冯浩祯

美术设计 杨英凡

前期设计 朱星、月、李竞榕、曦丹

特别鸣谢场地&硬件提供 秀加科技有限公司

特别鸣谢:北京神秘谷数字科技有限公司







欢迎关注我们公众号:XJY-Lab

B站账号请搜索up主:

新剧元Lab

链接:https://space.bilibili.com/503330522


随时欢迎对工作室以及交互项目感兴趣的小伙伴投递简历

和一群有趣的同事,做一些有趣的项目!

商务合作,简历投递联系邮箱:

xjynewmedia@163.com

或直接后台留言,我们会在第一时间进行回复!

扫码关注我们

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号新剧元工作室 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 新媒体艺术 科技艺术

14565 举报
  0
登录| 注册 后参与评论