Karl Guttag：AR光学到底比VR难在哪？
编者按：本文来自微信公众号“青亭网”（ID:qingtinwang），编辑：Esther，36氪经授权发布。
AR光学专家Karl Guttag这个名字由其发布的专业AR技术和产品分析博客，而受到行业内人士关注。他曾经深度分析HoloLens 2、环球影城AR项目（Mira）、Magic Leap One、索尼AR头显等产品，并提出AR透光性的重要，以及FOV并非越大越好等观点。
近期，光学显示模组厂商Ostendo的产品副总裁兼视觉体验负责人Jason McDowall主持的播客“The AR Show”，采访到AR光学专家Karl Guttag，共同探讨AR相关话题，比如：微型处理器和AR头显的技术复制，以及为什么高透光率AR比VR更难开发、视场角对于AR和VR的重要性、HoloLens视觉效果、衍射光波导的痛点、激光扫描显示方案、Magic Leap One为什么会失败等等。
注：The AR Show是一个关注并深耕AR技术、应用场景以及从业者的播客。
McDowall：在科技行业，竞争者之间复制技术似乎并不少见，已经成为一种文化。比如，Facebook推出的多个软件功能实际上跟Snapchat接近，等等。这种现象在早期的PC时代也存在，比如您曾经提过世嘉和任天堂曾经复制过您早期的芯片设计。
甚至在还处于早期阶段的AR行业里，也能看到相似的设计，比如Nreal Light、联想ThinkReality A3都与ODG R9有些相似。
Guttag：联想ThinkReality A3与ODG R9相似并不意外。据我所知，至少有两个前ODG员工目前在联想工作。另外还有一个CES期间的笑话，有的人在去年CES上发现了至少6款与Nreal相似的AR眼镜。据说，还有一家公司专门研发最新款birdbath光学方案，因此可以想象相似的产品估计能有十几款或更多，区别可能只有采用不同的光源，比如一些采用LCoS方案，大多数采用OLED。
不过实际上，各种birdbath方案大同小异，基本上都采用曲面反射镜取代透镜元件，还会采用分束器将光线转向镜面（轴），并反射出去。此外，大多数AR光学方案中可能都会包含birdbath结构，原因是为了避免衍射透镜等光学元件容易产生的色彩分离问题。与透镜相比，反射镜可以直接将光线和色彩按原路反射，不改变色彩，也不需要色彩校正。
那么同样采用透镜元件的摄像头是怎么做的呢？目前摄像头可以通过处理器实时校准色差，因此不用再担心偏色问题。但对于戴在头上的AR/VR来讲，没办法实时调整色差，人眼会识别出偏色。比如，采用单透镜结构的VR头显很可能会出现偏色问题。总之，衍射透镜的主要问题都出现在色彩控制上，而控制色彩也正是光学最难的问题之一。
与HoloLens采用的衍射透镜，或是一些其他玻璃透镜相比，反射镜方案的优势在于性价比更高，低成本反射镜也能成像优质画面效果。这也是为什么birdbath光学方案大受AR头显厂商青睐，当然除了反射镜外还需要使用分束器来控制光线反射轴，避免失真或扭曲。
再举个例子，前不久日本环球影城任天堂马里奥赛车项目中采用的Mira AR头显就采用离轴光学设计，与此同时通过计算机预先校准的方式降低色差，但这种方式无法校准焦距。换句话说，如果AR显示模组的分辨率足够高，经过校准后，图像误差不大，只是焦距还需要调整。
相比之下，反射镜方案（birdbath）不需要担心偏色问题，而且成本更低，即使有一些类似于球面像差的小问题，也可以通过涂层等方式调整。
可以想象，为什么这么多AR头显厂家采用birdbath方案，但如果大家都用birdbath光学，那么互相之间的优势或差异就难以体现。而且，目前birdbath光学模组比较厚，采用这种方案的AR眼镜从侧面不如常规的眼镜自然。此外，几乎市面上每一种birdbath AR眼镜至少会遮挡70%的环境光，尤其是从前面看，能看到眼镜反光（半反半透镜面涂层）。因此看起来有点像是深色墨镜。
除了光学模组位于上方的birdbath方案外，也有将反射镜放在眼镜下方的方案，人眼通过分束器看到周围的环境光，这种方案的透光性会好一些，但是制造困难。另一方面，支持立体显示的birdbath方案需要将光学元件位于眼镜上方。实际上，这样做的好处是画质清晰（尤其是采用OLED光源），不过外观看起来笨重，有的birdbath AR眼镜甚至还加了遮光罩，看起来更厚。
总之，各种AR光学之间的差别就是在不同优缺点中取舍，并没有完美的光学方案。
McDowall：可以谈谈联想ThinkReality A3这款AR眼镜吗？你提到ODG R9项目的负责人以及一些前ODG员工目前正在联想工作，那么联想的AR技术与ODG产品相比，有哪些提升？是否解决了一些你认为AR还存在的难题？
Guttag：我认为还是存在一些可以提升的空间，比如优化涂层、降低反射系数、改变光线传输方案、采用更好的分束器等等。此外，还需要让像素密度更细腻，支持画面放大。
McDowall：AR和VR的技术难点有何不同？AR技术为什么有难度？
Guttag：如果说AR的难度是VR的10倍，这可能也只是保守的估计。因为AR眼镜没办法像VR一样，直接将显示屏放在人眼前，否则会遮挡视线。此外，VR对于头显外观和体积的容忍度更高，而全天候佩戴的AR眼镜则需要更轻量化、外观更日常。因此，AR需要尽可能缩小显示单元，进而增加像素密度，于此同时为了放大像素和画面尺寸，则需要加入透镜，但AR如果像VR一样采用较厚的透镜，那么体积则会增大。
总之，AR的显示单元需要放置在太阳穴附近、额头等角落，但那样又距离眼球更远，画面看起来比较小。于是，不得不需要变焦和放大系统，否则也并不能像VR一样将手机大小的显示屏放置在头上。除此之外，还需要保证显示系统足够透光，不遮挡实现。
结合上述要求，可满足的光学方案包括光波导、birdbath反射镜等等。这些方案对于AR和环境光都会产生一些损失。比如HoloLens等AR眼镜采用的衍射光波导方案，它的衍射效应会让光栅产生色差，原因是它会将光线射出方向改变45°。也就是说，人眼透过衍射光栅观察周围环境，但环境光会偏离二的平方根左右距离。
还有一种叫自由曲面的光学方案，自由曲面光学的楔形光学元件会扭曲AR图像和环境光，造成图像失真。因此，需要集成另一个更大的透镜去补偿扭曲，这样光学模组的厚度可能会有两点多厘米，比较厚重。
在HoloLens 1和2中，微软在遮光罩内侧（人眼和光波导之间），和光波导上均集成了补偿透镜，这样做的目的是改变AR图像的焦距，同时不改变周围环境光。不过，这将需要两个夹层式透镜模组，光学功率较大。
McDowall：很多人觉得40°FOV并不够大，但是短期来看似乎并不会大幅提升，您怎么看？
Guttag：想要更大视场角很大程度上跟VR有关系，但实际上大视场角并不适用于每一种视觉技术，甚至在短期内可能性不高。举个例子，即使是大屏幕IMAX影院，视场角大约也只有40到45°之间，尽管比不上VR的110°视场角，但是观感足够沉浸。
相比之下，AR更像是IMAX而不是VR，它追求的是以真实环境为基础的视觉增强效果。此外，人眼视觉敏感区域大概也只有30°左右，而且在看报纸时可能只需要8°视场角，看书需要15到20°左右。如果是看电脑，所需视场角大于30°，如果不转头，而只是用眼浏览可能会产生视觉疲劳。尤其是在长时间观看时，人眼最舒适的视场角范围其实在15°左右，而最佳文字阅读速度大约为1.5弧分/像素。
总之，在设定AR视场角之前应该先考虑它的应用场景，你想通过AR解决什么问题？你想要打造什么样的科技？以用户为中心的体验，实际上比技术为中心要更重要。比如，HoloLens就选择应用于B端，尽管外观比眼镜要大得多，显示效果并不完美，但是在军事、医疗等场景具有实际用途。
对于企业来讲，一台5000美元的AR头显，或者是每年5000美元的企业级软件，如果能提升员工5%工作效率，一年就能把成本赚回来。如果进一步将员工效率提升10%，那么6个月就能回本。对于这样的效果，几乎每家企业都会动心。因此这就是HoloLens整体解决方案的卖点。
而对于企业员工来讲，只要能有助于工作，他们并不会过多去在意AR头显的舒适性或外观，不像消费者那样要求高。
微软HoloLens抓对了几大关键点，也就是说不过多去考虑头显的外观，将重心放在整个基于Azure云平台的服务商，相当于利用HoloLens来推动云服务的落地，并从中发现了实际的价值和用途。此外，HoloLens尽量解决舒适性问题，并采用一体式设计，使用起来更加方便。
视觉方面，HoloLens的画面虽然不够完美，但是基于Azure云服务的AR定位足够稳定。
相比之下，Magic Leap One采用分体式设计，使用的时候还得连接计算单元。除此之外，实际上Magic Leap的产品翻了很多错误，这家公司在AR头显开发上花费了30亿美元，但实际销量可能只有6000台，也就是说，每台售出头显的成本几乎约达50万美元。
我认为，未来十年内AR也很难取代2D屏幕，不要过于乐观。而且，AR的正确用途可能还不是作为屏幕，因为AR本身难以解决遮挡问题，现有技术难以渲染边界清晰的AR，时长会因为周围环境光透过而模糊AR图像边缘。
有些人觉得Magic Leap One的图像看起来更加饱满，这是因为这款头显遮挡了更多环境光，AR图像本身实际上更暗。如果Magic Leap One和HoloLens透光性一样，可能AR图像看起来透明度更高。
总之光线遮挡问题难以解决，同时如何设置AR的亮度，才能让图像与周围环境更加融合，也是一大问题。因为如果将AR眼镜整体透光率降低，那么将不仅降低AR的亮度，周围环境看起来也会变暗。这就是AR所面临的局限之一。
当然，虽然HoloLens在视场角等方面有所牺牲，但是保留了足够的适眼距，也就是说给眼镜留出足够空间，使用更友好。尤其是在展会等多人使用的场景，HoloLens比birdbath方案的AR眼镜更方便，因为birdbath方案如果由于眼镜而让人眼离光学模组更远，则可能出现图像畸变等问题，所以不适合戴眼镜使用。通常展会上会结合插入式屈光镜片来进行展示，但对于散光患者来讲，仅调整近视并不能解决散光问题，所以插入式镜片并不一定适合所有人。此外，插入和替换镜片的过程也比较麻烦，不利于大规模展示。
不过，适眼距更大也意味着视场角更加有限，总之AR光学方案需要进行不断的取舍。
其实，在我看来HoloLens更像是从实验室偷跑的科研项目，而HoloLens 2则是根据上一代产品的用户反馈，大幅提升人体工学，实用性也更强。而即使Magic Leap One现在转向B端应用也很难，因为从一开始纠错了，几乎犯了每一种错误。
McDowall：你猜测下一代Magic Leap会是什么样？会因为面向B端市场，而完全改变第一代的设计吗？你有哪些预期？
Guttag：如果Mgaic Leap想要打造B端AR头显，应该更多向HoloLens 2看齐。除此之外，Magic Leap One实际上有一样东西做对了一半，就是支持多个焦点平面，不过为此采用了两个光波导模组，造成透光性、成本、适眼距等方面的牺牲。
Magic Leap One支持在视觉距离2米远的位置显示清晰的AR图像，这个距离对于游戏等场景来说足够合适。但是在医学等B端场景中，更希望能与手臂距离内的AR进行交互，2米距离有点远。
而使用HoloLens时，当你眼球的焦点在手臂上，那么AR图像可能会失焦，进而产生视觉辐辏调节冲突。Magic Leap One抓住了AR对于多焦距的需求，不过打造这样多焦距的AR光学成本更高，而且透光性差，人眼需要透过6层光学元件来接收环境光，画面可能会出现扭曲等现象。为了避免过多的画面扭曲，Magic Leap One的适眼距很短，更靠近人眼。
当然，HoloLens也有一些局限，比如它通过手势来控制，目的是为了解放一线工作人员的双手，让他们方便使用工具，但该产品目前不支持动态变焦，因此人眼视线在手和AR图像之间切换，可能视觉舒适度不够高。
McDowall：您在博客中提到，Hololens 2的画面质量实际上不如HoloLens 1。那么，为什么微软会在HoloLens 2中采用激光扫描方案来取代HoloLens 1的LCD光学呢？您认为微软这样做的目的是什么？
Guttag：说实话我不知道，不过据说是为了优化亮度。但在我看来，如果采用LCoS或DLP光源，亮度甚至能远超HoloLens 2。HoloLens 2的亮度大约500尼特，而且这个亮度可能只在显示屏中心能达到。
再加上HoloLens 2的偏色问题，虽然近期微软更新了它的光波导技术，但如果这种视觉效果放在电视身上，你肯定会选择退货。
细节方面，激光扫描方案的亮度损失小，不过并不节能，比OLED、micro LED或micro OLED功耗更大。
总之，激光扫描引擎是那种理论上效果很好，但实际应用一般，而且基于激光扫描的整体光学模组体积大。
McDowall：您的意思是激光扫描方案在体积、功耗等方面与LCoS相比没有优势，它的优势可以将所有的光线聚焦在光波导入口，光线通过更加容易。因为，激光扫描的光源来自一个单点，并通过反射镜变成平行光，因此光线损失率仅为2%左右。那么除此之外，激光扫描还有哪些问题需要解决？
Guttag：实际上激光扫描的效果并不好，激光扫描镜需要经常重新调节图像，而且并不是呈直线运动。整个激光扫描过程会让光线扭曲，而且画面中可能还出现漏洞，而这只能通过重叠或模糊图像来优化。因此，激光扫描方案的实际分辨率并不够高。
而且，HoloLens 2的激光扫描镜速度太慢，需要提升4倍速度才可能实现官方号称的分辨率。HoloLens 2的刷新率应该还不足30Hz。
为什么会出现这种情况呢？实际上，AR行业中大多数人对于AR的信心很强烈，非常希望AR技术成功。因此在开发产品时考虑不够客观和全面，而是将更多注意力放在AR光学的优势上，而没有预先考虑不同光学方案的不足，甚至期望在不断开发的过程中奇迹般的技术突破。
那么为什么微软会采用激光扫描方案呢？我无法解答这个问题，但我清楚微软理解LCoS的不足，比如色彩分离、延迟等问题。另一方面，猜测微软收购MicroVision上已经投入几亿美元，因此决定基于MicroVision的激光扫描技术开发AR头显，不过为此可能又投入双倍资金，研发出可量产的产品。
实际上，衍射光波导方案本身也存在许多问题，很多人认为这种方案可能是行业标准，因为它的光学元件看起来就像是一块轻薄的镜片，但为了保护这个镜片，你还需要加上保护罩，体积依然较大。
我经常说，通常人们在开发AR眼镜之前的目标是实现墨镜大小，但最后产品体积却是HoloLens那么大。这是因为，大家通常以研发AR光学模组入手，但没有考虑到后续需要解决的各种问题。
微软最开始从收购诺基亚获得衍射光波导技术，当时可能觉得光波导模组看起来只有镜片大小，适合开发轻量化AR眼镜。然而随着进一步开发产品，才发现需要加上保护罩、电池、处理器、传感器，结果发现体积较重，于是又得通过特殊的头带系统来平衡重量。
对于HoloLens 2的激光扫描方案，我猜也是类似的情况，尽管微软说是为了提高亮度，但我觉得明明LCoS方案的亮度会更好。
总之，对于科研人员来讲，不能只看到技术的优势，就开始做决定开始研发，而是多了解技术可能带来的不足。
参考：
https://www.thearshow.com/podcast/111a-karl-guttag-part-1
相关推荐
Karl Guttag：AR光学到底比VR难在哪？
研发AR、VR光学显示模组，「惠牛科技 」已获万级量产订单
5G与VR/AR到底有没有一毛钱关系？我们认真的做了这些研究
烧光24亿美元：明星AR公司Magic Leap将专利全部抵押给摩根大通
量产波导方案AR光学模组，「珑璟光电」获数千万A轮融资
还记得Magic Leap么？它最终证明消费级AR是个伪命题
还记得Magic Leap么，它最终证明AR消费级眼镜是个伪命题
拿了180亿后，Magic Leap又在融资，这次把专利都押了出去
苹果Google入场收购，OPPO酷派下场竞争，AR/VR探索低成本高可用之路 | 2020盘点
元禾创投合伙人乐金鑫：一年看上百个AR项目，AR比VR更有前景
网址: Karl Guttag：AR光学到底比VR难在哪？ http://m.xishuta.com/newsview42443.html
