《Interactive Dramaturgy for Chinese Kunqu Opera “The Peony Pavilion”》

这篇文章是以昆曲《牡丹亭》为例，来讲解沉浸式戏剧到底要怎么设计，怎么引入交互式技术。

作者在进行自己的创作——《内省——杜丽娘之梦》中关注的三个重要问题是：

1. 身体——空间——时间三者和表演之间的关系是什么？这些要素该如何互动？
2. 戏剧中如何建立沉浸式空间？
3. 如何通过技术手段让观众进入一个更为互动的角色？

为了回答创作中的三个问题，作者从几个方面来寻找答案：

理论层面

戏剧理论

首先根据Turner和Berhrndt的理论（戏剧和表演），戏剧是对戏剧创作的完整观察，是所有表演

事件的完整呈现，是对艺术作品中所有艺术要素的结构化。因此，戏剧是一个无穷尽和复杂的过程，戏剧主要的特性在于：分析、建构和组合。

Marianne Van Kerkhoven 认为，结构是将戏剧组合到一起的核心。Adam Versenyi认为，戏剧是剧场事件的体系架构，让作品中所有的组件得以参与，并从而为观众产生价值意义。

而在Causey的新书《数字时代的戏剧和表演》中，她认为，技术是超越传统剧场的戏剧视角，表演将从两方面转变：首先，技术让艺术变成跨领域的形式、打开了思想；把技术和表演、表演、装置艺术组合到一起，形成了新的表演空间。

戏剧要素

Salter给出了一个要素图，讲解了身体、空间、时间和技术的关系

003.jpg

戏剧中的身体

身体是戏剧中最为本质的要素，也是戏剧中最有效传达情感的介质。

科技对于身体的作用，这里分为几种：

1. 让身体动作更容易理解。比如，Dagognet 1992，rebecca Horn的相关示例
2. 让身体进行扩展。Trisha Brown的引力例子。
3. 让身体动作与表演相关联，也有着各种交互例子：waschmuth 2008给出了身体的各种物理表达方式（利用交互技术）。还比如Heather Hansen（jobson 2014）的交互式作品，从舞蹈跨界到图像艺术。
4. 真实和虚拟的身体。Meike 2006讲到了舞台上同时出现真人和虚拟影像的例子。 Merce Cunninghama 1997也有相应的例子（Hand-Drawn spaces,BIPED)。

walking on the wall(Brown, 2011)

作者在这里也讲到自己的真实身体和虚拟身体相结合的实验。她使用Leap Motion和Kinect来进行演员的动作跟踪，然后使用TouchDesinger来生成色彩、像素和骨骼。系统搭建成功之后，随着演员的表演动作，虚拟角色的动作、灯光、色彩和线条都会随之变化，作者称之为4维的旋转和变形空间，从而让观众的感知得到了新的挑战。
[图片上传失败...(image-ff9902-1629182008745)]

戏剧中的空间

robert edmond Jones 1998年的著作认为，表演空间是叙事的一部分，不同的表演空间讲述不同的故事。作为艺术语言的一部分，空间也是戏剧的核心要素。

Meleau Ponty（capeto 2015）认为，人类感知是人类智能下的所有感知体验的集合。也即是说，空间与感知天然相关。Bachelard 2003的理论认为，人对于空间的反应，从根本上适合人们对于记忆和想象的体验直接关联的。她认为，任意给定的空间也会产生极其主观的反应。这是因为人类个体的记忆不同。Lefebvre则认为，个体的心理、社会、政治、经济差异形成了个体对于空间的独特体验。个体的情感、记忆、想象、知觉、智识都会影响个体的感知体验。因此，个体在空间中的存在，是个体对于空间觉察的重要要素。

在传统理论中，剧场和礼堂是两个单独存在的概念。但是在沉浸式和交互式剧场中，空间都是一样的——是一个同时由观众和演员共享的区域。Punchdrunk 2000, 就有相应的尝试。

沉浸式空间

沉浸式戏剧来自于戏剧中对于空间感知的使用。Punchdrunk所作的工作和”沉浸式戏剧“最为相关。他们的做法，是让戏剧不仅仅由剧作家和演员来定义，更是打开了观众的参与：观众成为了戏剧的主动参与者。

Felix Barret认为，沉浸式，就要求观众与表演空间一道存在，从而影响戏剧。Machon认为，沉浸式就是要让观众忘记自己是观众，让他的身份发生变化。

沉浸式戏剧中，观众不仅仅是在观察，而是在参与。引发的元素包括灯光、音响、物理存在、空间和技术。所有这些元素都直接影响观众的感知和体验。

目前已经有的戏剧包括《a midsummer night's dream》、《Tunnel 228 and The masque of the red death》、《Sleep no more》、Ali Phi的作品《shym》

[图片上传失败...(image-e4565c-1629182008745)]

在构建沉浸式空间时，使用装置有这些好处：观众和系统会产生实时的互动，所观察到的会时变时新。Teamlab就是一个非常好的团队，观众在装置中得到了娱乐，获得了灵感。

Solenoid构建了一个沉浸式论坛，Nimbes在Lemercier、ginzburg构建了沉浸式空间。体现了宇宙、智能和个体性之间的关系。
[图片上传失败...(image-a22489-1629182008745)]

时间

戏剧中另外一个重要元素是时间。时间的速度、持续、运动和节奏都可以和物理身体、空间和技术相交互，从而引发梦境和梦境状态。亚里斯多德曾经说过，我们不仅用时间来衡量运动，也通过运动来衡量时间。Sylviane Agacinski讲时间同哲学和形而上学联系起来了——物理存在以自身的时间限制来定义。对时间的觉察，不是主观的，也不是绝对的，对于时间的感知，不可能同实证内容相割裂，因为内容提供了结构。

时间相关概念

时间相关的概念包括：媒介时间、停止时间、暂停时间、时间通过和时间延迟。媒介时间常常使用音视频媒介方式。Dixon在其书《数字表演》（2007）中曾讲到，媒介会压缩时间：真实的时间会转化成当时的实践体验。

如果真人表演时，同时出现其虚拟化身，那么由于过去和现在在视觉上和物理上融合在一起，因此会出现时间的错觉。Aganciski认为这是对时间性的超越——一个人的身体同时在现在和过去出现（dixon 2007)

构建戏剧中的回忆

戏剧中构建回忆是非常重要的戏剧要素。剧作家喜欢使用数字视频作为表现时间和生成回忆的工具。

案例包括 cassiers的《Prousta's swann‘s way》，Dan Graham的《Time Delay Room》。

作者使用了演员的虚拟形象，复现演员的表演。真实演员和虚拟形象的时间差为8秒。这个8秒的设计，来自于Graham的神经心理学研究（1974），超过8秒，人就会把看到的变成记忆。所以把时间设置为8秒，就不会出现时间上的延迟。
[图片上传失败...(image-f2b1e3-1629182008745)]
[图片上传失败...(image-7a4bea-1629182008745)]

戏剧中的交互性

戏剧中的交互的价值和作用

1. 增强戏剧的张力和表达。Benford和Giannachi 2012的文章认为，计算机的可用性，会提升戏剧的张力和表达。

2. 在演员、观众和空间之间建立起更好的关系。在传统戏剧中，观众只能视觉体验，没有办法参与。观众和演员是物理隔离的，由于观众位置固定，他只有对于表演单一视角的体验。但是一旦引入交互，观众就直接参与到戏剧构建，直接影响到情节，从而生成新的、唯一的表演和情节。与此同时，表演一旦和空间环境、虚拟数字图像相关联，表演就更为集成，并与环境相连接，同时观众也会在表演中更为”沉浸“。

交互式数字表演

数字表演的定义

Steve Dixon 在他的书中定义了”数字表演“。rouse(2013)认为，Dixon的定义封装了所有的表演艺术形式，计算机在表演的内容、美学、技术或戏剧理论中都有参与。在他们看来，任何使用了计算机组件，并参与了艺术的，都叫做”数字表演“。
[图片上传失败...(image-c6845a-1629182008745)]

如何互动

Poggenpohl（2004）认为，交互是一系列连续的动作，后一个动作都是对于前一个动作的反馈。由于现在的技术限制，不论是跟踪系统、2D或3D投影映射、机器人或其他技术系统，技术系统都必须采取相应的方式与戏剧情境相连接。

Rouse（2013）提出，技术系统可以与解说、舞美、道具、服装相关联。技术系统可以看成是一种戏剧工具，成为表演中统一的一部分，甚至成为虚拟演员。

空间和增强现实构建的实体

随着数字交互技术的不断进步，新一代艺术家正在利用这种变化。表演中的空间已经成为行为艺术和表演中的重要部分（Beira 2016）。行为表演和虚拟表演的融合，也产生了新的术语”现实表演“，这种表演把物理显示和虚拟显示结合在一起，同时也把演员和观众结合在了一起。（Benford 2011）还做了混合现实表演，把真实世界的表演和虚拟世界的表演既相互融合相互影响又在风格上有所区别。（beira 2016）。通过个体的环境的变化，构建了”虚拟现实表演）。行为表演也可被交互媒体所影响。真实世界和虚拟世界的元素相互写作，建立起新的现实感知。这一类表演的设计路径为：运用新技术——形成概念——构建空间，使得现在的戏剧创作者不仅仅搞好文学创作，还需要把剧场和动作设计和技术元素相结合。

交互式表演和技术间的关系

技术是用来增强感知体验。在实践中，常常用到传感器、Arduino、Kinect、动作捕捉、视觉计算和投影映射。本项目则利用到了技术与身体、空间、空间美学，用来传达空间中的节奏、运动和时间变化的元素。Rouse（2013）认为，最重要的是三个领域：剧本解读、美学统一和功能性。目前技术的问题在于如何增强戏剧叙事，能否用于戏剧的其他元素，是否会影响表演者。

交互式系统框图

图像的计算机生成

演员的动作可以加以视觉化，形成增强视觉。比如，Hansen 2011的动态视觉画面。

这种视觉化可以通过代码的调整，形成新的视觉体验。因此，交互设计就突破了极限和边界。

siobhan davies讲到，网络中的作品，通过数字技术显示出了即时性和多模态性。，还把评论变成了资源。简单的说，生成工具的出现，可用于戏剧设计的实践，同时推动研究进展。

生成风格1
生成风格2 生成风格3

投影映射和视觉化

演员的动作可以用于实时分析，并通过投影映射和美学编程，变成增强的舞台环境。这是一种将演员和空间相联系的方法。投影成为了真人的扩展。这里有个例子，Klaus和Ars Electronica Futurelab所作的作品《Apparition》。

Apparition

kinect和动作捕捉

Simon Penny（2004）认为，交互式艺术的不断产生过程性的交互性图像，已经超越了视觉艺术的理论框架。Peter Kirn （2011）年的著作认为，交互式艺术本质上是一种错觉，但也是作品本身的基石和突破点，也成为了应用新的艺术形式的平台基点。

kinect与TouchDesigner的组合应用实验
动捕效果设计2
动捕效果设计3 位置捕捉并扣边

装置设计

重新解读昆曲牡丹亭的概念

作者对于杜丽娘的形象进行了重新设计。让观众如入梦境，感受到故事的精髓，体验到完整的沉浸。

牡丹亭的背景知识
重新解读方案

物理装置设计

空间设计师是延续故事点的。舞台区域为15.6×10.7米，悬挂了99条0.6×4米的纱条，还有27×4的白色舞台升降台，5台高清投影机，3个Kinects。舞台区域分为两部分：主观看区和表演交互区。主观看区在交互区前面，是个封闭的区域。表演交互区分为中央舞台和观众交互区。观众交互区由3块悬挂的纱条隔开，大小为8.4×8.4×4米。利用线绳和悬挂的纱幕，又把舞台分割成梦境和现实区域，然后通过投影形成演员的互动。观众可以从舞台的纱幕中穿行，从不同角度欣赏表演参与到戏剧中来。设计中用到了kinect、TouchDesigner、艺术编程和投影交互，重新构建了演员、观众和空间的关系，从而构建出魔幻的交互式剧场。

中国传统花园的沉浸式环境设计

传统花园的三维点云模型来自于胡雪岩故居，然后用这个点云模型来制作花园的场景。

花园的点云效果

视觉图像和动画

演员的梦境互动效果

案例1：输入：演员手势 输出：白色烟雾 使用技术：Unity、Kinect和投影机。。根据演员动作，形成实时动画，表现浪漫爱情。

案例1

案例2：输入：演员手势，输出：红色线条。使用技术：Unity、Kinect和投影机。演员舞蹈时随着演员的手部动作，出现不同的红色线条

案例2

案例3：输入：演员手势，输出：投影描边。使用技术：TouchDesigner、Kinect和投影机。视觉特效表现了演员在花园中的悲伤情绪。

案例3

交互式设计

TouchDesigner作为交互设计的主要工具。作者测试了各种交互式表演元素：色彩、像素、身体上的打光、人体骨骼和演示。把所有的数据采集到3D环境中，建立增强显示和交互的层，形成混合现实环境。

观众可以在舞台空间自由行走，观众的身体被跟踪记录，并同自己的虚拟幻想、演员和投影特效相互动。这样意味着观众也成为了演出的一部分。这段戏除了引发各种“跨界”的讨论外，同样也引发对于当代艺术作品模糊结构的思考。与之相对的，当代艺术作品以自己独特的戏剧过程和形式，让大家看到、听到，会吸引剧作家、导演和观众来定义戏剧的感知性。

从最基本来看，交互式空间表达了观众和演员之间的一种联系，首先在某种程度上形成了交互和批评，接着有共同参与了想象力的创造。这样观众进入了一种想象的状态，并有由各种艺术形式组成的创作感。

交互式设计 交互式设计效果
演员动作交互效果
观众、演员和空间交互效果
观众和空间的交互
观众的内省效果

结论

本文尝试通过构建交互式的、沉浸式的空间，重新定义表演、空间、观众之间的关系。根据作者的分析和实践，她总结认为，数字技术基由其沉浸式和交互式的特点，可以创造出一种新的艺术形式，为传统艺术和严肃艺术提供无限的新可能性。