这篇文章讲的是怎么通过立体采集技术（Volumetric Capture）来做一种新的VR戏剧。戏的名字叫做《Dill Pickle》。
我查了查，《A Dill Pickle》（中文译名《莳萝泡菜》）是一篇经典的英文小说，作者曼斯菲尔德（Mansfield），文学性和戏剧冲突性都很好。大学英语课本里面有收录，也有相关的研究文章[1]。同样的，好像学生也很喜欢拿他拍点练手作品[^2] 。具体的剧情，可以参考隔夜剩饭，何堪再食---《莳萝泡菜》个人化翻译。
而Volumetric Capture 应该是配合 Volumetric Video 出来的前端数据采集方式，查了查，现在SONY[2]、CANON[3]都有自己的立体视频解决方案。这个东西还是挺新的，国内也有重点研发计划刚刚完成相关的工作[4]。
采集系统
这篇文章的作者用到了TetaVi的产品进行体积采集。这个采集系统用到了12个RGB摄像头，8个红外线深度传感器和8个红外线的结构光投影机。整个系统可以采集一个5英尺范围内的空间场景。
戏剧设计
场景设计
生成的场景是一个对话场景，场景中有酒吧、艺术品和家具。在场景设计中，使用了纽约曼哈顿的拍卖交易所真实物体的1万张图片，从而重建了戏剧场景中的酒吧、艺术品和家具等道具。
情节设计
男演员所饰演的“Vera”会坐在沙发上给观众打招呼。观众必须使用预设定的对话跟男演员对话，从而推动剧情发展。如果观众所说的话不是预设置的对话，那么全息的画面就会停止，弹出提示，要求观众按照提示来完成对话。
男演员叫做Jim Thalman（很可惜，真不太认识）。他在5英尺的圈子里面演戏，同时进行体积采集，从而生成演员的3D图像。在采集圆形区域外有个助手。他会提示所说出的对话，从而让演员做出正确的反映。
采集过程
拍摄采集是2段7分钟的对话，总共拍摄了3次，最后形成了一段14分钟的立体视频。
观众反馈
观众反馈挺有意思。大致有以下几点：
- 体验感比以前的方式更强。原文作者认为，主要原因就是立体视频会带来更多的观众自由度，所以体验感会更强。
- 黑白视频比彩色视频更入戏。彩色视频会让觉得更像游戏，黑白视频则更容易跨越第四堵墙。原文没有解释原因，我个人的直觉理解是，观众心里的形式感在黑白视频中更容易建立。或者是我常常说的“仪式感”，这种让人带着一种正式或略严肃的心态区体会某种事物的感觉。
主要问题
- 体积视频最大的体验问题还是来自于计算机技术存在的不足。演员的3D形象在肢体终端是有缺失的，比如手指、脚部的细节，目前还比较难得到完整的浮现。
- 对于戏剧本身来说，演员和观众的眼神交互，其实是戏剧传情的一个重要方面。现在的表演设计时，没办法实现演员和观众的眼神交互，没有eye contact。这个可能需要桥段设计的创新，也可能需要技术装置的创新，比如存在对于观众眼神观测位置的反馈和通信机制。
网友评论