仰望星空,追光而行——上科大穹顶光场由这个学生团体搭建

上海科技大学信息学院 · 发布者:闻天明 · 2021-03-15

你是否曾经看到过这样的场景:远在千里之外的人,能和你"面对面"说话;电影《双子杀手》中,两个亨利同时在荧幕上出现……这些都是基于光场技术实现的数字特效。目前上科大的这个学生团队正在将光场黑科技逐渐变为现实。

曹瑞翔、李振邦、裘麒玮、王一玮和张启煊是来自上科大信息学院的五位本科生。他们利用今年寒假的时间,在多学科人工现实工作室(MARS)成功搭建起了一套用于面部几何还原和材质采集的系统——穹顶光场。这套系统今后将为电影特效的高精度三维重建、重打光提供强有力的数据支持。

"我们搭建的‘穹顶光场’是一个包含约 150 个 256 级可控 LED 光源的球形打光拍摄系统。"团队成员曹瑞翔介绍说,"每个 LED 光源带有 6 个高亮度 LED 灯珠,这些灯珠分为两组独立控制,两组分别安装有不同的偏振片。光源均匀分布于一个直径约 3 米的铝合金框架球体上。所有灯光以最高 1000Hz 的频率变化亮度。"

但在搭建过程中,团队却遇到了许多不可预知的问题和挑战。首先是灯光设备数量大:该设备需要安装的灯光设备达 150 个,并且需要全部安装在直径 3 米的球体框架下,设备之间间隔小,安装操作难度大,对安装精度要求高。同学们做了大量前期规划,用"安装一部分,测试一部分"的方式确保设备安装工作顺利有序进行。

其次是灯光运行频率高。该设备最大工作频率高达 1000Hz 以上,而目前市面上常见的显示设备频率仅为 60–120Hz。高频率对控制系统以及通信协议的速度性能提出了更高的要求,需要定义和研发线路更少、速度以及可靠性更高的协议。

"在这次搭建中,我们始终坚持两个原则:一是‘不着急,小步走’,将大的工程目标分解成小的任务;另一个是长线的思考方式,做开发时需要考虑装配的复杂度,测试时需要考虑最坏的情况,装配时要为后续的调整保留接口,并做好标记。"

"2021 年春节前的一个凌晨,我们终于做完了最后的一路控制供电。当关上灯,打开控制器电源,黑暗中只有一个个指示灯闪烁时,我们躺在地板上,仿佛仰望着一片美丽的星空……这一刻心中觉得付出的一切都是值得的。"穹顶光场搭建完成后,团队马上启动了测试,顺利地还原了模特的人脸材质。

关于 Light Stage:Light Stage 是由美国南加州大学 ICT Graphic Lab 的 Paul Debevec 所领导开发的高保真三维采集重建平台系统,已成功应用于 40 多部好莱坞电影渲染中,包括《阿凡达》《本杰明·巴顿奇事》《蜘蛛侠》等。2019 年,这项技术让 Paul Debevec 和他的团队获得了奥斯卡技术成就奖。

穹顶光场是上科大 MARS 实验室基于具有自主知识产权的电影特效底层核心技术而研发搭建的平台工具。相比 Light Stage,穹顶光场拥有更多的相机,引入更多光场算法,并且支持动态采集,能识别到人脸极其细微的结构变化。除了赋能影视行业,未来穹顶光场在 AR/VR 场景、视频游戏、教育、文旅、沉浸式演出、虚拟社交等领域也拥有广阔的市场前景。