资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

艾厂× aai | 深伪技术的变装皇后:酷儿化数据集以及在新媒体艺术中重新定义AI的语境

原创 2022-04-01


printf("Aiiiii Art Center!");


杰克·埃尔韦斯

Jake Elwes



杰克·埃尔韦斯(Jake Elwes),媒体艺术家,2017年毕业于伦敦大学学院斯莱德美术学院,现生活、工作于伦敦。他最近的研究着眼于机器学习和人工智能领域,这些作品既寻求机器创作中的诗意与叙事性,也探讨、质疑了其背后的准则和伦理。他的最新作品《 Zizi Project》 ,在现存数据集中加入变装表演者,探索了人工智能的偏见,揭开并颠覆了人工智能系统的神秘面纱。




杰克于2021年5月份aai艺术与人工智能国际论坛上的演讲主题是“深度伪造变装皇后:酷儿化数据集以及在新媒体艺术中重新定义AI的语境”(Deepfake Drag Queens: Queering the dataset and recontextualising AI in new media art)。在演讲的开始,杰克先简单分享了一些早期影响他从事人工智能创作的概念,这些概念从观念艺术和媒体艺术的两方面出发,都富有哲学意义。


(详细论坛视频请点击文末“阅读原文”)



第一个是隐空间(latent space)。


五年前杰克开始研究分类网络和面部识别网络是如何学习大数据集的。数据集可以是数百万张图片,也可以是数百万份声音数据,而隐空间则是数据集在空间上的象征,这个空间里包含着数据集所有的信息。比如程序员如果需要训练了一个识别图片里的猫和狗的分类网络,在他输入了所有的像素信息后,神经网络便开始学习这些图像,以及它们在多维度的隐空间中所代表的概念。当你给神经网络一个新的图片时,它会反馈给你一个隐空间中的向量坐标,表示这个图片可能存在的位置。在这个空间中,可能上面是狗,下面是猫,不同的位置有它代表的不同的类别信息。


Source: Jake Elwes’ slides


而杰克更感兴趣的是无监督深度学习的隐空间,他认为这其中存在着一定的奇异性(queerness),一种区别于常规、常态的其他性。它是一种中间态,不同于二元性,不同于男女老幼,它是一种谱系。所以如果要训练一个神经网络来区分不同的身份,是可以在这个隐空间中寻找不同的向量来创造出一些中间态,杰克认为这是一个很美好的概念。同样的,语言也可以映射在这个空间内,词语就变成了数字坐标,这样就可以开始用数学来理解词语的含义。


第二个概念是对抗生成网络(Generative Adversarial Networks)。它是很多深度伪造技术的基础,通过模拟生成一些原本并不存在的数据,并让算法认为这是原本就存在的。通常的做法是从一个随机向量,或者说是隐空间中的一个点开始,把它输入到一个从未见过任何真实图像的生成者(generator)网络中, 再对接在一个分类网络上,例如一个在数百万个人脸数据集上训练过并清楚知道如何区分人脸的识别网络。生成者从随机的噪点开始,逐渐迭代增强,学习如何生成真实的人脸。


Source: Jake Elwes’ slides


这两个概念激发了杰克作为艺术家对机器学习的兴趣,他开始研究如何使用这些技术原本的功能,同时批判性地思考,寻找其中隐含的诗意以及可能出现的错误。杰克认为,作为艺术家,这是一个极好的机会来后退一步思考——你可以没有特定的目标,不需要像科学家一样设计网络来完成特定的任务。在这样的过程中,试验者可以欣然包容接受技术中的错误,并尝试用它实现设计之外的用途。


Source: Jake Elwes’ slides


杰克的作品《Auto-Encoded Buddha》(2016)最早尝试用机器学习创作的作品,它引用了一件早期媒体艺术作品——白南准(Nam June Paik)的《TV佛像》(TV Buddha,1976),作品中一个佛像坐在电视前,观察监控画面中的自己。杰克和一个德国艺术家Roland Arnold合作,想用人工智能生成的佛像画面来重制这个作品。杰克使用了一个包含大约5000张佛像的图片集训练了一个神经网络来生成佛像。但在六七年前,电脑算力还无法生成非常真实的佛像,而杰克收集的数据集也不够庞大,在原始的技术下,只能生成一些低像素的图片。


Source: Jake Elwes’ slides


对杰克来说,没能生成佛像是失败的,但同时这些失败和错误中也包含真正的诗意,而这些失败的图像可以看作机器学习算法的内在形态。杰克认为这很有意思,于是在最终作品的呈现中,他就让佛像注视着这样的一个人工智能,一个用数千张佛像训练过却仍然无法理解什么是佛像的人工智能。这就是人工智能的婴儿期,也是杰克最早的试验。


Source: Jake Elwes’ slides


杰克介绍的另一件作品叫做《闭环》(Closed Loop,2017),也是早期用机器学习创作的。杰克早期接触机器学习的时候,会好奇如何把自己作为艺术家的身份从作品中移除:如果把创作的权利交给这些神经网络,会发生什么呢?杰克把一个图像生成算法和一个识别标注图片内容的算法匹配在一起,当一边的神经网络给出“一张大片的纸”的描述时,另一边算法就开始尝试生成可以描述“一张大片的纸”的图片。当一个模型提供了“鸟在天上飞”的文本,另一边的算法就又开始尝试生成什么是“鸟在天上飞”的图片。当时的这些算法还比较原始,杰克认为它的可爱之处在于你可以看到它在处理信息时闪烁的效果,就好像它在尝试思考一般。


左边的算法是用一个包含着1400万张图片的ImageNet数据集训练的,但它实际上相当的简易原始,只能理解隐空间本身的信息,包括其中的局限和偏差。这些都是完全包含在最初的数据集中的,就像语言模型只能理解我们教导的语言一样,它只是对我们所给它的信息的一种反射。因为它是早期的算法,还不能生成高清的真实图像,所以会时不时发生错误生成一些不同的图像。


Source: Jake Elwes’ slides


接下来杰克介绍了一些近期的作品。从很小的时候开始,杰克就常常会去埃塞克斯沼泽、英国的海岸线玩耍。这些地方都是由海口和沼泽地组成的潮汐景观,可以看到种类繁多的沼泽鸟类和涉水鸟。杰克常在思考如何重塑机器学习算法的语境,于是他把最人工化的东西拿到这里,比如当时最先进的深度伪造算法,用这里的沼泽鸟类图片训练,再将其放回这个环境里来和野生动物来进行对话。



Source: Jake Elwes’ slides


这件作品名为《CUSP》(2019),杰克收集了大概十六个小时的环境声音,再用这些声音训练了一个会生成鸟类鸣叫的神经网络。在作品中,杰克使用了一个LED屏幕,将其放到沼泽地里展示生成的鸟类,同时伴随着屏幕放出生成的鸟叫声。


接下来展示的作品,《dada da ta》(2016)则以一个完全不一样的角度来思考机器学习和人工智能。这件作品是关于权力结构的思考,谁拥有数据,谁在控制着这些技术的发展。杰克用IBM Watson转录音频的技术,抽取了一些技术巨头的CEO说数字的片段,你可以看到一长串的Mark Zuckerburg和Elon Musk只讲数字的视频,充满了喜剧效果。


Source: Jake Elwes’ slides


杰克关注应用数据集本身存在的政治偏差,开始思考数据集究竟能表现出什么。比如现在很多面部识别的数据集都是由美国工程师收集整理的,因此这些数据常常缺乏多样性,偏向于以白人男性为主,常常出现无法识别黑人女性、跨性别者、或者酷儿等通常不会被详细划分的类别。

杰克认识伦敦很多的变装表演者,他们通过变装表演挑战社会对于性别的理解,杰克认为这个形式可以更有表现力,进一步挑战身份和性别的概念,于是创作了下面这件作品。作品中这些人脸都是用机器学习来合成的“虚拟形象”。杰克使用了一个名叫“CelebA-HQ”的标准数据集,其中包含四万张普通的人脸图像,看起来非常的统一,并不存在非常有表现力或者夸张的人脸。杰克把一千张妆容奇特的变装者照片加入到这四万张图片中,从而改变了神经网络内部参数的权重,使得整个网络从非常普通的空间转移到一个更加奇特另类的庞大空间里。这当中包含的可能性令人欣喜,比如通过这个算法我们可以开始探索其他的不一样的东西,甚至是创造出新的与众不同的身份。同时,杰克也提出了一个问题,即创作者本身也要考虑自己想要怎样被这些算法看待。算法可以理解和识别各种不同于常态和社会传统的身份是一件好事,但是另一方面来讲,我们真的想要被包含在其中吗?这是需要我们一直思考的问题。杰克的最终作品其实并不完全理解性别以及人种之间的界限,而是处在不断流动的状态,尤其在一些变装表演的人像上,会出现令人迷惑的妆容。


Source: Jake Elwes’ slides


在这之后,杰克开始思考如何能够控制这些表演者,将深度伪造技术改造成一种表演工具。深度伪造技术常被用来伪造色情影片或者虚假新闻,利用位高权重之人的影像牟利。但是对受压迫和边缘化的群体来说,这是一个利用技术赋能的机会。这件作品中,杰克先从各个不同的角度拍摄了十三位表演者,然后把所有的图像转换成六十四个点位的身体骨架,用这个作为数据集来训练神经网络,创作出了作品《Zizi秀》(Zizi Show, 2020)。为更切实的设计需求。


Source: Jake Elwes’ slides


当把数据集输入给神经网络训练之后,神经网络会生成一个原本并不存在的新的人物形象。左上角是一张原本的图像,生成网络是无法看到这张图的,它只能接收到一个生成图和原图相比准确度的分数,然后通过尝试提高准确度分数来生成一个与原图尽可能相似的图像。训练生成了新的较真实的图像之后,它又可以匹配不同的骨架,这样就可以让不同的人来控制图像中人物的身体。在这之后,杰克又邀请了其他几位表演者完成了不同风格的舞蹈,在线上展示中,观众也可以随意选择或更改表演者,以此让观众来理解深度伪造技术,理解图像背后的骨架,明白这些图像中的身体只是人为创建的。这个概念和变装有着一定的相似度,因为变装的目的也是构造一个虚假的身份,而深度伪造的目的是构造一个虚假的身体,这件作品通过不断更换身体,创建和解构了身体这个概念,向观众提出了AI可以是人类这个有争议的想法,同时又在调侃AI永远不可能代替人类表演者。


Source: Jake Elwes’ slides


最后杰克展现了衍生作品《Zizi和我》(Zizi & Me, 2020),思考表演者以及表演者的深度伪造复制体如何同台共演。作品中所有的音乐都是从一些讲人工智能如何智胜人类的音乐剧中选出的,比如一首歌的名字是“Anything you can do I can do better(你所能做的,我都能做到更好)”,主要是讲人工智能和人类之间的竞争,讽刺了我们社会对人工智能的普遍认知。


杰克最后用音乐剧中的歌词结束了演讲:


“


Any note you can sing, I can sing higher.

I can sing any note higher than you.

No, you can't.

- Yes, I can. -No, You can't.

- Yes, I can. -No, You can't.

- Yes, I can. -No, You can't.

Yes, I can~~~~~ 

How do you sing that high?

I'm a girl.

Anything you say, I can say softer.

I can say anything softer than you.

No, you can't.

Yes, I can.




阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本内容由数艺网主动采集收录,信息来源为 “艾厂人工智能艺术中心” 公开网络发布内容。第三方如需转载本内容,必须完整标注原作者信息及 “来源:数艺网”,严禁擅自篡改、删减或未标注来源转载。 并附上本页链接: 若您的内容不希望被数艺网收录,或认为此举侵犯了您的合法权益,敬请通过微信 ID:d-arts-cn 联系数艺网。我们将致以诚挚歉意,并第一时间为您办理下架或删除处理。

数字媒体艺术 新媒体艺术 科技艺术 作品分享 科技前沿

15383 举报
  0
登录| 注册 后参与评论