写在Lytro十年--杂谈光场相机的不足、优势、应用和展望（上）

Lytro 公司在2011年向市场推出了第一代光场相机，距今已经过去了近十年。 这款号称“一次拍摄，多次对焦" 的成像设备，在进行首次商业发布之时，在摄影界、科技届和媒体届都引发了不小的轰动。 相比于传统的单反摄影相机，它主打的卖点是不需要繁琐的对焦和寻找摄影角度，单次拍摄后即可得到不同焦深和角度的照片。 光场相机的发明者、同时也是Lytro的创始人Ren Ng的博士论文获得了ACM Dissertation Award，而他本人也获得了"MIT Tech Review's TR35" ,"Fast Company's 100  Most Creative People in Business" ,"Silicon Valley Journal's 40 under  40" 等一系列称号。光场相机可谓一时风光无限，在被誉为一项颠覆性的技术发明的同时，甚至有人视其为单反相机的历史终结者。

然而十年过去了，负责研发、推广这款产品的公司Lytro在2018年以宣布倒闭告终，公司的CEO、同样也是这款相机的发明人Ren Ng选择了重回学术界任职，成为UC Berkeley的一名教授。这款相机经历了严重的高开低走，就如同消失在了消费者的视野一般。

尽管在To C端， 光场相机的表现可谓惨不忍睹，使用者的反馈也是恶评如潮，但是在To B端和学术界，光场相机依然延续着比较旺盛的生命力，不仅学术文章在陆续的被发表，拓展光场相机的应用范围，同时国内外少数科技独角兽也将该技术在某些应用领域进行落地(比如德国的Raytrix和国内的上海登录入口，他们可谓是光场成像在工业应用领域的两大领头羊）

甚至有基于光场成像的技术发明获得了国家重大科技进步奖项，世界最顶级学术期刊上也可以见到它的身影（比如清华深圳研究生院的戴琼海课题组，在光场成像的生物医学显微应用上，有着较大的影响）。
这种仿佛是一个技术，在经历着某种兴衰变革，在技术史上不乏某种技术几起几落的兴衰交替的现象，驱使着学界和业界的人们一哄而上、一哄而散，不断参与或者离开某个技术领域。

就光场相机而言，本文试图从纯技术角度去回答一个对该现象反思式的问题： 光场相机的优势和劣势在哪那里？什么原因使得它被消费者抛弃的同时却又在工业届延续着自己的生命？ 落地应用的现状如何？  本文既是自问自答，也是抛砖引玉，希望各位从事本行业的看官，能多多发表自己的高见。

一、不足篇

欲扬先抑，回顾该设备的不足，也是对光场相机在To B市场逐渐被抛弃的一个回顾和解释。光场相机由于其本身的硬件构造，无法避免的存在三大先天缺陷。
1. 空间分辨率低

光场相机结构（源于《基于仿生视觉的单相机光场成像及3-3维直接转换基础》）

由于光场相机为了采集不同视角的信息，在CCD前放置了一个微透镜阵列。但是相机可以采集的总信息量却是受限于成像芯片上CCD像素的尺寸和数目，角度信息和空间信息的关系可以简单描述为：

两者相互折中和制约，如同我在另一个回答所指出的，单个视角下的光场图像的大小，等于微透镜阵列中微透镜的个数，由于单个微透镜下的像素数目介于100到200之间，因此微透镜个数相当于原始CCD像素数目的100倍级别的压缩，对于一个1000万像素的光场相机，经过视角信息的折中压缩后，得到的单视角有效像素数目，居然只有十万像素量级！ 相比起传统单反相机几千万像素的纤毫毕现, 这个数量级的空间分辨率，对用于摄影的消费者而言如同玩具。这也是光场相机在消费者市场遇冷到消失的最大因素。即使Lytro后续推出了2.0代光场相机，以进一步压缩角度分辨率的方式来提高空间分辨率，上述问题，依旧没有得到彻底的解决。不过，这个缺陷应该辩证看待，角度信息和空间信息的相对取舍，取决于应用场景。

2. 基线过短
基线问题的长短问题，消费者对其不敏感，然而在宏观成像和测量领域，比如航空摄影测绘、双目立体视觉、卫星遥感成像，却是一个及其重要的参数。

基线和视差关系示意图

在多目视觉中，图像接受者（人，机器）对于深度信息的感知，源于目标在不同相机（眼睛）上的视差，视差大小随着目标物离相机的距离变化。相机之间的距离长度被称为基线长度，在同等距离条件下，基线长度越大，则视差越大，对深度的分辨能力也越高。

对于双目视觉，它的基线长度可以由大致平行布置的两个相机之间的间距表示，而对于光场相机，它的基线长度如何计算？如下图所示，因为每个微透镜都记录着入射点光源的一部分信息，此时你把每个微透镜都当成是一个小相机，那么你就可以直观的得到答案，由于多个”小相机“的存在，光场相机存在多个基线，但是光场相机的最大基线长度，是被点亮的间隔最远的两个微透镜的距离。 但是这个基线长度，存在两个特性：首先是基线长度随着点光源的离焦距离变化，离焦平面近的时候，只有少数个微透镜下被点亮，因此最大基线长度比较短，但是离焦平面远的时候，更多的微透镜被点亮，最大基线长度变大（这也是光场相机在焦平面附近，景深分辨率最差的原因）；尽管如此，微透镜的基线长度，无法超过CCD芯片尺寸本身。

这种差距，和双目视觉对比，尤其明显，比如上图右边的光场基线长度，大致在2~3个微透镜的直径左右。由于光场相机的基线过短，在被测物距离较远的情况下，深度分辨率将会受到很大限制。

3. 相机的动态范围HDR被压缩
利用上一个点光源的分析案例可以发现，当点光源在焦平面附近时，只有少数微透镜被点亮，必然有更多的光能量，集中到少数CCD上；当点光源离焦平面院时，多个微透镜被点亮，即点光源的能量分布更加分散。 在这种条件下，为了让相机CCD不过曝或者过暗，被拍摄物体的亮度只能在一个比较小的动态范围内，使得物体离焦近时不至于过曝，离焦远时不至于过暗。

点光源离焦平面不同距离时的能量分布

上述三大问题，严重限制着光场相机的应用领域，也是光场相机在过去十年，不被消费者所接纳的主要原因。然而，寸有所长，尺有所短，在To B端以及学届，光场相机却有着诸多独特优势，能完成传统成像设备所不能的任务。 上述三大不足，在这些应用领域，都得到了相应的克服和一定程度的解决。此外，以动态的目光看，随着像素尺寸的缩小、芯片上像素数目的增长、更高动态范围芯片的出现（甚至有些芯片号称，开发了永远不过曝的技术），上述问题有望得到根本性的解决。

技术的兴衰往往如此，峰回路转又一村，吸引着每一个十年中的人们”Boom and Bust“。