作者首先用了个引子，说是从15世纪开始，就有了投影映射的舞台实例。投影映射用到了Magic Lantern[1]，利用感官错觉形成画面和舞台对象之间的新型关系。然后就说，投影映射，就是为了创造这种感官错觉[2]，现在是用得越来越好了。原因很简单，把投影机的画面可以投射到任意表面，自然就增强了感官体验。
简介
这里首先给出了定义，投影映射（Projection Mapping）、视频映射（video mapping）、3D映射（3D Mapping）三个术语是等价的[3][4]。然后讲到了文艺复兴时期的两个重要投影技术应用：Trompe l’oeil[5] 和 Quadratura[6]，还提到了18世纪剧场沉浸式设计风格：Panorama[7] 和 Phantasmagoria[8]。当然，投影映射是日趋发展的，现在就是艺术内容创作、计算机处理的大融合，能够在脱离实际材料的条件下，实现观众感知和认识的提升，这也成为不可逆转的趋势[9]。
文艺复兴时期的空间错觉
空间错觉的根源，提到了两位意大利大师：乔托（Giotto）[10] 和 杜乔(Duccio)[11]，是最早在他们的艺术作品尝试使用空间和3维视觉的，这个时候的方法叫做 明暗对照法(chiaroscuro)，也成为了 矫饰主义（Mannerism） 和 巴洛克风格（Baroque） 时期的重要技术标准。然后在新柏拉图主义（Neoplatonism）的影响下，又加入了欧几里得几何的知识，让视错觉不再是纯粹感性的设计，而是要遵循一定的科学理性规律，从而最终推动了 线性透视 [12]的出现。
意大利建筑师 菲利波·布鲁内列斯基 Filippo Brunelleschi，在修建 佛罗伦萨圣约翰洗礼堂Florence Baptistery 和 维奇奥宫 Palazzo Vecchio 的时候，建筑还没有修完，就通过透视法将建筑画出来，让观众能够得到还没有完工的建筑全貌。莱昂·巴蒂斯塔·阿尔伯蒂 Leon Battista Alberti则是首次将透视法的方法体系化，写出著作 《论绘画》（De Pictura），将布鲁内列斯基的透视方法用精确的规则加以描述。从此以后，艺术界就建立起了对于空间3维物体构建的完整技术方法。
布鲁内列斯基的透视方法成为了接下来500年，西方艺术创作的基本准则。在刚开始应用时，皮耶罗·德拉·弗朗切斯卡(Piero della Francesca ) 创作了 《圣母布雷拉 Brera Madonna》，开创性的用到了线性透视的技巧。
Panorama（全景画） 和 Phantasmagoria（魅影）
十七世纪巴洛克时代的著名画家 卡拉瓦乔Caravaggio、 贝尼尼 Bernini、 鲁本斯 Rubens、伦勃朗 Rembrandt、Velazquez 和 弗美尔 Vermeer 运用到了业已成熟三维表示法。表示法起源于新古典运动（neoclassical），其中的代表作是 Giovanni Batista Piranesi 在1745到1761年创作的版画 想象中的监狱 Carceri d’invenzione，版画中出现的场景由各类人物、桥、楼梯和机关组成，熟练细致的用到了透视法。但是，这段时间里几乎没有艺术家尝试在空间中的感官错觉作品。因此，这个年代最相关的作品是由爱尔兰艺术家 罗伯特·巴克 Robert Barker创作的。罗伯特·巴克在建筑物中竖立起一个圆形建筑，画出全景的风景画。 在1792年，全景画（panorama）出现，基于之前两个世纪建立起来的透视和色彩知识。巴克的全景画在水平面上覆盖360°，高度可达15米。不久，巴克就把全景画的尺寸和复杂度进一步提高，圆柱体结合建筑测量、建筑结构，以配合所绘制的风景，从而增强感官错觉。这种组合也正如视错觉画（quadratura）所做的结合一样。通过全景画的方式，地板、楼梯、滑道、喷泉以及各种家具，不仅仅是用来规定观众的行动路线，更是提醒观众回到现实的提示。全景画在西欧和北美一直非常流行，特别是在向公众表现重大历史战争的时候，常常会用到全景画。在那个年代，很少有人能够支付得起旅行费用，全景画能够让观众走进宏大的风景，以自身的视角进入历史事件的沉思，这是一种超前的分布于时间和空间的叙事方式，有点像现在虚拟现实或视频游戏的体验。随着时间的流逝，光学的进步不仅仅用来发展透视相关的技术，还出现其他光学器件的发明。这些器件包括：光反射期间和投影设备。 Jesuit Athanasius Kircher 在1645年的书籍《光影的伟大艺术 Ars Magna Lucis et Umbrae》中，就提到一种原始的投影系统，用到1片聚焦镜，1片凹面镜反射阳光，作为画布，显示出文字或图像。这个装置也叫做 Steganographic Mirror 隐写镜[13]。 1659年荷兰科学家 克里斯蒂安·惠更斯 Christiaan Huygens 记录了 幻灯（magic lantern）的发明。幻灯是一种早期投影机，使用一种半透明的、带有手绘图画的玻璃片，还有1个或多个镜头，以及1个光源共同组成。从18世纪起，幻灯在教育界和娱乐界得到了广泛应用。虽然幻灯随着光源和透镜的发展在不断发展，但是基本技术原理一直没有变化。18世纪晚期，比利时科学家 Ettiene Gaspar Robert， 以及有史以来的第一位幻灯艺术家 Paul Philidor，创造一种使用幻灯的新型错觉表现形式，称之为 魅影（Phantasmagoria）。魅影同时用到了多个幻灯，用到了正投和背投图案，为坐在舞台前的观众呈现出真实感的效果。从19世纪开始，魅影的使用方法逐渐成熟，用到了更强的光源，玻璃片上用到摄影冲印术，光学技术得到提升，引入了播放系列突破的方法，从而在利用透视法和色彩法的基础上，进一步营造出空间体量上的真实感。Louis Daguerre 在传统剧场错觉营造方法的基础上，开发了 ** 立体透视 Diorama** 方法，做了采用光来表达场景的设备。把两张沉浸式绘画和其他移动的、可替换的图形元素，如人物肖像、动物、虚拟人物，让图像元素从前端点亮，然后又退入后面慢慢变黑，环绕观众席旋转。立体透视用到了不透明和半透明的图像，利用光和镜子，并应用色彩对比和透视法，营造出了精确的空间感。举个例子，立体画可以做成10米宽，再用上各种半透明和不透明的物体或色彩，用景片的绳索来控制色调，模拟出浓雾和太阳。几十年之后，德国剧场导演和制作人 Erwin Piscator 新的剧场应用模式，成为20世纪早期最为完整的戏剧实验。他在1926年的作品 St¨urmflut 采用了半透明的背景屏幕和坚硬的黑色底框，不断变化投射的口径，通过用4部背投的投影机来衬托演员。
演出的时间和空间
虽然印象派画家Renoir、 Sisley、Monet 和 Pissarro，以及后印象派画家Van Gogh、 Gauguin 和 Seurat， 依然在沿袭前辈的空间表达方式。但是在19世纪末，出现了新的科学和艺术新的大发展。这个时候的发现，开始挑战绝对中心的透视标准，因为这种透视是静态围绕观众视点的。而是开始发展多视点系统，用以表现场景中的时间流逝，说明场景不再是静态，而是动态的。这种多视点的观念主要由 立体主义运动 cubist movement所推动，代表人物是 Picasso 和 Braque，代表技术是：分面（faceting）、通路（passage）和多点透视（multiple perspective)。这种时间和空间上的多视点，用到1幅画面上，就形成了立体主义最明显的风格。这种技法创新也可以看成是立体主义运动的透视哲学，以及人类真实感受和表达真实的哲学。对于立体主义者来说，艺术不是对于现实的模仿，不是对于“那里有什么”的客观的瞬间快照，而是人类在某个时间或空间体验之后的一种主观表达，是对于“感觉到什么”的瞬间快照。这种新的技法，导致场景的变化和波动，观者成为立体主义者绘画的唤起情绪的中心力量。 根据这些观念，
Albert Gleizes 和 Jean Metzinger在1912年写了一本书 《立体主义 Du ”Cubisme”》，第一次成文的介绍立体主义，直接将多重透视将时间的连续性联系起来。哲学家 Henri Bergson 认为，生命就是主观体验的连续体，过去连到现在，现在连到未来，因此将立体主义的多重透视观念进一步符号化。未来主义艺术家Umberto Boccioni、 Giacomo Balla、Gino Severini也受到多重透视和同时性的影响。他们在时间和空间上表达多视点的方法，技术更加复杂，体量也更大。代表作品为 Le D´epiquage des Moissons。 15世纪文艺复兴以来，线性透视成为解释和表达世界的主要方法，而在20世纪初期，多重透视的观念出现，让人类对于各种事物有了觉醒般的新认识，充分拥抱了物理学的新理念、时间和空间的本质、原子和原子动力学，并最终滋养了接下来几十年的观念：相对性大于绝对性，多重性大于中心性，动态协作创造大于预先决定。文艺复兴时期的艺术家，希望通过原型的感知错觉，引领观者进入真实。立体主义者
则颠覆了这种真实，让观者去关注人工性，引发各自的视角联想，从而探究表达和错觉的问题本质。
扩展剧场
上世纪50年代，捷克艺术家约瑟夫·斯沃博达 Josef Svoboda应用幻灯机和透视法，开创了一种演员不说话，依靠不断变化的投影画面来支撑艺术含义。这种表演形式，利用新的技术手段，将建筑、舞蹈、电影、剧场等元素综合在一起，复兴了理查德·瓦格纳（Richard Wagner） 的 总体艺术（Gesamtkunstwerk） 观念，并在1958年布鲁塞尔的世界博览会上为捷克斯洛伐克赢得了最高奖项。Svoboda的剧场形式部分可以称之为 Polyekran(捷克语：投影），用到了多个投影设备（不是投影机）和多个不同形状的投影幕。投影幕用铁丝悬挂在舞台的不同位置，背景是黑色的。这个投影作品用到了8个幻灯机，7台电影放映机，再辅以立体声，从而达到了整体的艺术效果。
实验电影制作人斯坦·范迪比克 Stan VanDerBeek也尝试这种利用分布的画面来实现沉浸式体验，并在1963年到1965年的电影《Movie Drome》用到了沉浸式体验。人们要躺在半球形的剧场里面，电影是在四周播放的。斯坦·范迪比克 Stan VanDerBeek 受到了 Buckminster Fuller 的穹顶设计理念，以及 Robert Barker“的 ”全景公共建筑Panorama public installations“ 设计理念的启发，Movie Drome”其实成为了一种双向交流系统的原型，地球和环绕的卫星相连接，存储和传输图像。虽然这个实验作品仍有瑕疵，但是突破了传统的线性透视法和线性叙事法，用了新的方式展示现实。这是一种多重视角的设计方法，不同的视角展现出不同的事件，形成了一种碎片化的、非线性的叙事方法，一种空间分布的动态画面拼贴。由于这种展示方式和传统电影院完全不同，有的文献也称之为 扩展影院（expanded cinema） , 打破了传统电影艺术的线性叙事和中心化关注，将电影扩展到非线性、空间分布、多重感官体验，从而引导观众的参与，提升当代艺术作品所必须的交互性和参与实践性。1969年8月9日，新奥尔良的迪斯尼乐园，在“** 鬼屋（haunted
house**”中用这种视错觉展示了三个故事。参与这个项目的艺术家和编剧包括：Yale G
Greacey、Marc Devis、Claude Coats、Xavier Atencio，Rolly Crump。Rolly Crump设计的装置叫做 “唱歌的半身像 singing busts”， 这个作品里面有5个唱歌的半身塑像，把歌曲“ Grim Grinning Ghosts”变得更为真实。首先把演员唱歌的视频录下来，然后投射到塑料的半身像上。通过调整场景的亮度和对比度，精心设计观众的行进路线和消失点，设计者让观众得到了从未体验到的多重感官错觉，实现一种虚拟现实和增强现实的范式。
在1980年以后，使用视频序列和沉浸式建筑和对象相结合的实例大量出现。在这些艺术案例中，Tony Oursler做出了超越电视监视器的艺术效果。Oursler在雕像上投影，以及在电影场景上投影。他在1990年代，有个从1996年开始的项目《Troubler》，完全是把图像投射到布娃娃上。Oursler采用了传统的光学和感知应用方法，控制场景的光影效果和观众的视点，Oursler将活灵活现的脸的形象、实际物体、观念原型等元素整合到一起，投射出一种超震撼的叙事方式。
Michael Naimark也是一位多媒体艺术家，他的作品《** displacement**》，也实现了投影画面和投影表面之间的互动，这是一种更深刻的空间和语义的互动形式。艺术家 Jeffrey Shaw 也在扩展剧场领域有着自己的独创技巧。 比如他在1967年的作品《Corpocinema》，使用到了穹顶投影。1974年的《Diadrama》就用幻灯片投射到180°的环幕上。
在剧场使用中，Fura dels Baus在歌剧《Le Grand Macabre》用到了透视法和现金技术，形成三维空间感。这个歌剧2009年3月在布鲁塞尔首演。Fura Dels Baus的创作意图是避免哑剧，不要重复真实，而是创造一种真实的错觉。Robert Lepage也有很多剧场的案列，《Needls and opium》就是其中之一，这部戏剧叙事方式需要同空间有着强烈的互动，因此需要在半立方体的结构中精心表达事件发生的位置和环境关系。因此剧场设计一组可置换的屏幕，根据场景的变化而变化。2012年， Marshmallow Laser Feast组在为sony 的PlayStation做宣传的时候，将整个屋子做了视频映射，然后用摄像机加以记录。在摄像机的视角下，得到了高度的错觉效果。
交互虚拟现实
随着交互式计算的发展，艺术家正在创作演员身体完全发生错觉的艺术效果，这种效果也不再需要预制观看者的空间位置或视点，而是根据观众的交互，根据观众的视点，动态改变呈现的效果。
从这个观点树立以后，研究人员和产业界就针对观众参与感，开发了大量技术和设备。最重要的是CAVE系统，开发者为1992年伊利诺伊大学电子视觉化实验室。1995年北卡大学卡贝尔山（Chapel Hill）分校，Ramesh Raskar、 Greg Welch、、Henry Fuchs运用CAVE系统把办公室变成了一个沉浸式试验场。
2006年，新南威尔士大学互联网电影研究中心（UNSW iCinema Research centre）的 Shaw启动了360°3D投影系统的研究。他们于2003年设计实现了AVIE（Advanced Visualisation and Interaction Environment 现金可视化和交互环境），并可以实现360°的环形投影画面。同时，这个环境的建筑也和设计相关联，得到了虚拟表达和真实物体在投影空间的关联呈现。
AVIE环境可以实现用户对于投影画面的旋转控制。AVIE的设计遵循传统的环形建筑（Panorama）的设计方法，同时用到了巴洛克时代视觉错觉湿壁画（Tromp l’oeil fresco）的绘画技巧。他们最为重要的实例为《纯粹之地——走进莫高窟 The Pure Land: Inside the Mogao Grottoes》[14]，这个时候Shaw去了香港城市大学，和Sarah Kenderdine共同完成。采集到的莫高窟数据在一个圆柱形的，10米直径4米高的AVIE环境中进行了展示，观众可以使用手持设备进行图像交互。
像这种投影产生空间错觉虚拟现实效果的，成为基于投影机的 增强现实 的技术基础。
现场虚拟现实
目前投影映射最有趣的研究对象是人体。编舞Chris Haring 和 导演、编剧 Klaus Obermaier，创作了两个多媒体舞蹈演出作品，《 D.A.V.E》和 《Vivisector》，创作者把投影打在演员身上，让演员的身体发生实时变化。2004年， Obermaier和Ars Electronica Futurelab一道，创作了《Apparition》，演员为Desir´ee Kongerød 和 Rob Tannion，形成了交互式的演员舞蹈和媒体交互。
2009年 IEEE ISMAR（IEEE International Symposium on Mixed and Augmented Reality）会议上，北卡大学的Greg Welch和Henry Fuchs 引入了 Shader Lamps Avatars技术，能够做真实人物脸部的特色投影。观众们可以看到打在人体模型上的真实感十足的人脸。2014年，日本媒体艺术家浅井宣通 (Nobumichi Asai)和 化妆师桑园裕人 Hiroto Kuwahara 以及 数字图像工程师 paul Lacroix 创作了投影艺术作品 Omote[15]。 Omote 背后的技术团队东京大学石川研究室（Ichikawa Senoo Laboratory）在2015年又在 Ometo的基础上，把不能动的人脸做成了能动的人脸，也就是实时把图像投射在变形的非刚体表面。为了达到这种效果，由Gaku Narita、Yoshihiro Watanabe和 Masatoshi Ishikawa组成的研究团队，使用了两种技术：一种是 “ Deformable Dot Cluster Marker 可变形点阵标记”，用红外线采集表面形变信息。一种是“DynaFlash”，一种超高速投影机系统，实现8bit 图像1000fps的投射速率（这比商用投影机只有120fps的性能高了8倍）.2016年，石川研究室还在变形的纸张和T-shirt上实现精确投影。由于可以将主动和被动标记点直接装在服装上，这种技术进步使得日常的所有表面都可以成为投影面，形成无缝的感知错觉。
结论
投影映射在营造空间错觉方面已经有了长足进步，它所采用的技术和理念也有了完整发展，艺术家和娱乐界都创作了大量应用。投影映射用到了线性透视、色彩对比、视焦点控制等技术，营造出静态的3D 真实感。而最近利用计算机技术，又加入交互性和空间的动态调整，使得投影内容和物理空间能够完美响应。由于投影映射是现实--虚拟体的中间媒介，因此它会同时出现两种可观测的结果。其一，在感知层面，投影映射会将物理真实表面的形状、色彩、纹理等性质与叠加的图像所融合，或者减弱物理上真实感。比如Ometo中，能够瞬间换掉脸部化妆。第二，在交互语义层面，实现想象内容和物理真实对象的互动。由于出现了这种元素之间的互动，就形成了某种身份上的转变。比如物理实体尚无变化，但是投影画面出现了强烈对比，会导致身份或语义环境的完全改变。Omote中的模特突然变成了骷髅。由于这种错觉效果强烈，它也为娱乐、空间异地分布学习、大规模数据集交互等应用提供了新的可能性，让人通过数字内容的空间交互形成新的具身认知（embodied cognition） [16]。 重要的是，现实不能满足人类的要求，所以艺术家和科学家都在不断的不断追寻着感知错觉的新方法新技术，目前看来达到了某个阶段性节点。
-
magic lantern，应该算是一种早期幻灯片机，把画面通过透镜放大，投射到平面上，国内也没有对应术语，暂且叫它”幻灯“。 ↩
-
这个可以看看另外一篇论文《Achieving presence through reality》，里面讲到过，人类的存在体验，来自于两种错觉，一种是感官错觉，一种是心理错觉。感官错觉是可以用技术手段构建的，心理错觉则是需要共情的，离不开体验者的主观经历和人文艺术工作者的创作。 ↩
-
国内在产业界其实还有另外一个词，光雕投影或者光雕，对应的英文术语依然是projection mapping，还有一个词“空间增强现实”（Spatial Augmented Reality）与这些术语相关联。详细的说明还可以参考3D光雕投影简史 ↩
-
现在国内产业界和艺术圈把mapping这个词直接翻译成“投影”，个人认为是不妥当的。mapping的本意就是映射，从数学角度看，就是从一个集合向另外一个集合的对应关系。而投影映射，其实是一种数字画面的状态集合对应到真实场景的状态集合，投影只是实现这种状态变化的技术手段之一（换言之，只是实现这种映射关系的函数集合的某个子集），只不过是目前流行和首选的方式，并不排除未来会有其他的技术方式。 ↩
-
根据art cord的介绍，这个quadratrua也是一种视觉错觉技术，主要用在墙壁和天花板的绘画上，让空间显得比实际更大。因为这个词和数学上的求积分挺像的，所以我认为，这种技巧其实代表的含义应该是涂抹和设计整个区域，形成阴影的效果。它和Trompe l’oeil之间的主要区别就在于，它的线性透视关系更为严格，也就是说，一定存在灭点Vanishing Point ↩
-
Panorama是一个希腊词，代表的是一种广角视觉，能够让人找到更为沉浸的感官体验，国内没有解释，姑且叫它”广角体验“。当代的环幕电影，其实就和这个名词有关系。建筑里面的圆形监狱[panopticon](https://en.wikipedia.org/wiki/Panopticon）也和这个术语有联系，也是各种电影里面最经常出现了监狱类型。 ↩
-
phantamagoria是中世纪用来上演恐怖戏剧的设计方法，里面用到了幻灯、鬼魂道具等舞美设计，可以译做”幻像戏剧“？ ↩
-
个人感觉说的对也不对。基于投影的技术确实能够实现大量视错觉的完美应用，但是投影技术是基于反射的，在实际应用和艺术演出中，亮度是个最大的问题。比起主动发光的物体，在画面呈现上的锐利程度要差得太多。而且光场成像发展的飞快。我只能说，投影映射目前基于投影机，是效费比最佳的技术路径选择方式。 ↩
-
关于线性透视的解释，中文文章中，感觉线性透视法与知觉这篇文章说的挺好挺全面的。美术圈里面可能提到的 焦点透视 会更多一些。这两个术语应该是等价的。 ↩
-
Steganographic Mirror 这个词，我并未查到相对应的中文解释。但是 Steganography这个词是隐写术，表示把信息隐藏在已知的信息中。我觉得作者讲的也是把阳光投射的信息，作为隐藏的信息加以传递。意思是这个意思 ↩
-
我在读论文的时候，真没有想到居然是拿中国的莫高窟做的投影。像我们要做点相应的实验，拿点数据多难啊。怎么一下子就给了老外了？ ↩
-
这可是我进入该领域的引领者啊，当时看完视频的感受就是，太震撼了。科学与艺术的完美结合 ↩
-
具身认知这个词，也是读这篇文章才学到的新词，又是一个认知心理学的词。哈佛大学的这篇文稿写的很清楚，Embodied Cognition。 ↩
网友评论