2011年,有用户反映华为手机的拍照效果不如人意,这引起任正非本人的注意。在当年的一次华为高层会议上,任正非问海思总裁何庭波:“为什么华为手机的拍照不强?”
何庭波回答,因为缺乏自研的ISP(图像信号处理器)。任正非又问:“为什么不投资做ISP?”何庭波说:“没钱。”
任正非随即拍板:“没人投,我投!”
此后经过多方论证准备,海思团队在2012 年启动了自研ISP的立项。恰逢2012年德州仪器解散了ISP团队,华为重金收编了他们法国的一支团队。
以此为基础,3年后,海思第一代自研ISP集成在了麒麟950芯片上。这使得麒麟950支持14bit 双ISP,吞吐率性能提升4倍,Mate8手机拍照效果大幅提升。余承东也在Mate8发布会上“口出狂言”要赶超苹果。
接着,华为P9手机在自研ISP的基础上,又引入徕卡镜头,一举让华为手机站在了当时安卓手机摄影的巅峰。
任正非在2016年6月20日为麒麟950芯片研发团队签发“总裁嘉奖令”,嘉奖词写道: “麒麟950构筑了华为和荣耀旗舰产品的关键竞争力。”
时移势易,数年间手机市场风云变幻。华为陷于困厄,国产手机厂商虽然纷纷冲向高端,但都没能再现华为一样的辉煌。
但为了实现影像效果的跃升,自研芯片的故事,却悄然在国产手机厂商间上演。
攻坚的第一座城池,就是ISP芯片。
今年3月,小米推出了一款自研的ISP芯片;vivo在9月份大张旗鼓发布的自研影像芯片V1,同样属于ISP范畴,已经应用在新机X70系列中;OPPO同样要上马ISP芯片,已有报道称其旗下子公司ZEKU(哲库科技)已于今年初流片,产品可能在明年上半年正式发布。
ISP究竟是什么?攻克了ISP,跃跃欲试的国产手机厂商们就能借此成为下一个华为吗?
从技术角度来看,独立的手机影像芯片,可以被归类为ISP(图像信号处理器,Image Signal Processor)芯片。
大街上随处可见的视频监控摄像头中,均搭载了ISP芯片。监控摄像头和手机中的ISP芯片起的作用,都是进一步提升传回影像的“画质”。
ISP的主要功能包括: AE(自动曝光)、AF(自动对焦)、AWB(自动白平衡)、去除图像噪声等。
手机成像的过程可被概括为:景物透过镜头,生成的光学图像被投射到CMOS(图像传感器)上;然后光学图像被转换成电信号;电信号再经过数模转换变为数字信号;数字信号先经过DSP(数字信号处理器)加工处理,再被送到ISP中进行处理,最终转换成人眼中清晰可辨的图像。
说白了, ISP就是负责照片最后的PS,在硬件和算法的加持下,尽最大的努力把照片变得清晰、好看、准确。
通过ISP芯片的处理,手机可以得到更好的图像效果。因此,在智能手机特别是在高端手机上,对 ISP 的要求很高,现在双通道甚至三通道的ISP都已经开始运用。
ISP既可以集成在手机处理器中,也可以外置于手机处理器,成为独立的影像芯片。外置的ISP可以和手机处理器中的ISP配合工作。小米和vivo的ISP都是外置芯片,与处理器中的ISP协同工作。
目前主流的手机芯片设计公司在出售自家的手机处理器产品时,均已经在其中内置了ISP芯片模块,并且每年的新品几乎都会对ISP芯片进行性能的优化和提升。
比如高通最新的旗舰芯片,骁龙888系列中就内嵌了3个ISP核心。
其实,骁龙888本身集成的三个ISP性能已经非常优秀了,支持低光架构、AI图像增强、支持单帧逐行HDR图像、十亿像素级处理速度等特色功能。
任何使用骁龙888的手机,理论上都可以在这些功能框之上,衍生出自己的特色功能。比如,小米11Ultra、OPPO findX3 pro、vivo X60 Pro+,都拥有各具特色的HDR拍摄功能。
但使用上游芯片公司的内置ISP带来的问题是: 假如大家都用骁龙888,在ISP的参数调校和功能上,会限定在高通的框架之内。这会导致各家ISP调校的上限基本是差不多的,也就意味着很多重要的影像素质、功能不受手机公司的掌控,并且同质化。
另外,国际芯片设计大厂的旗舰处理器基本上是固定的一年一更新,里面的ISP芯片只能跟随厂商更新节奏而更新。手机厂商对内置ISP能做的事情有限:手机厂商即使觉得芯片厂商更新太慢,在很多重要的影像功能上也无能为力。
解决这些问题的方法之一,当然是直接自己研发ISP。如果能自己做一个外置的ISP芯片,手机厂商不仅能够在功能上有更大的施展空间,还能更大程度地把握更新节奏。
而相比手机最核心的处理器芯片,ISP芯片的研发难度更低。同时,历经安防视频摄像头的多年发展,ISP市场已经臻于成熟,在技术、产品价格等方面都较为稳定。
对于国内手机厂商而言,现阶段做出一个可用的“影像芯片”,难度不算特别大,且在团队组建、技术攻关等方面都有可借鉴的经验。
在vivo X70发布会上,vivo表示自家的V1芯片是由300人、历经24个月攻关研发。相比之下,华为首款手机通用处理器K3V1历经5年才研发出来,还极不好用。
目前,小米、vivo的 ISP芯片研发团队中的中坚力量,均有多年的从业经验。比如小米的ISP芯片架构师左坤隆,此前在华为担任主任工程师,负责麒麟芯片ISP算法的研发;vivo影像算法总监杜元甲,曾在平面显示屏幕驱动IC厂商联咏任职。
事实上,在智能手机中外置ISP芯片早不是什么新鲜事, 因为一直有第三方的ISP芯片可供选择。
魅族内核团队曾在《相机系统综述》一文中自述,魅族会向专业的ISP厂商进行采购,以达到更好的影像效果。
文章中还写道, 外置ISP的选型一般不受手机主处理器的影响,因此魅族可以自由选购最适合的ISP产品。
在此基础上,手机厂商只需再研发出适合的ISP驱动程序,以及考虑外置ISP与内置ISP的搭配问题,并进行更精细的算法调校。
市界梳理华为手机的早期配置发现,在麒麟950之前, 华为旗舰机型手机均是采用外购的ISP。有业内人士表示,其ISP购买自国内专业的ISP设计厂商华晶科技(Altek)等。
只是,如果第三方的ISP芯片能够满足手机厂商的需要,那华为手机也不会在一开始被说拍照烂了。
第三方的ISP芯片虽然理论上可以增强手机拍照功能,但第三方芯片大家都能买到,并不能建立什么护城河,只有自研的ISP芯片才有独一无二的定制功能,才能够建立独家的影像壁垒。
比如华为2019年凭借技术优势自研了一个达芬奇架构的NPU(嵌入式神经网络处理器),又配合上自家的自研ISP芯片和算法,做成了一个“Face AR”功能。
这让搭载麒麟990的华为旗舰手机,靠着摄像头对着人脸就能进行建模,进而靠面部信息就能进一步分析出人脸信息背后的诸如心率、呼吸率等健康数据。
说实话,这功能虽然实用性不高,但听起来卖点十足,是全行业独一份儿的。华为的相机通常以丰富的功能著称,这与其掌控ISP芯片和手机处理器底层技术有直接的关系。
珠玉在前,而活下来各个手机厂商,经过多年发展,影像能力也有一定的积累。搞不定核心处理器,还搞不定一个小小的ISP芯片?
因此,着手打造自家的ISP芯片已经是不得不做的一件事,即将成为另一轮手机配置内卷的军备竞赛。
vivo不久前发布的X70系列手机,高调宣传了它自研的V1芯片带来的影像效果的提升。这颗芯片是对高通芯片图像能力的补足。
vivo V1芯片仅仅负责处理图像, 主要面对的使用场景是夜景拍摄,运行计算成像算法,用于减少眩光、鬼影等问题。
(vivo V1与骁龙888对比图,图源:@数码闲聊站微博)
这一点也得到了vivo方面的确认。vivo员工李伟(化名)向市界解释:“vivo V1是一颗影像芯片,可以对摄像头传回的图像信号进行处理。其实手机SoC中本身已经集成了图像信号处理的部分,但X70系列定位是影像旗舰,我们需要多一颗专业的芯片来达到更好的影像处理效果。”
多塞一块芯片,带来了更多的技术挑战,但vivo希望凭此在国内手机影像的赛场中异军突起。
现在整个手机产业链的分工已经相当完整,屏幕、电池、图像传感器、手机镜头甚至是核心的处理器供应商,都集中到几个厂商,下游的手机玩家们越来越难以做出差异化的硬件产品。
手机影像的军备竞赛日趋白热化,拍照已经成为智能手机最重要的功能之一,没有优秀的拍照能力,根本无法在高端市场立足。
余承东曾说: “好的手机影像不是单纯一极思 维,而从来就是一个完整的技术解决方案。”
这样的背景下,走上华为自研的“老路”,向更加底层的芯片技术进军,几乎成为了手机玩家们的唯一选择。
但是,成为下一个华为,仅仅靠一个小小的ISP够吗?
手机成像是一个系统性、持续性地工作,不仅要拼硬件配置,还要拼“后期”算法调校,最终生成画面。
从行业经验来看,能否调校出好照片,与影像团队的素质、影像积累以及底层技术的掌控有莫大的关系。
苹果靠着“万年”的1200万像素,年年吊打一众一亿像素的安卓对手。华为影像实力的突飞猛进背后,有对芯片及算法底层的掌控,进而能够形成独特优势。这种优势显然并非多一个ISP芯片就能赶超,而是需要更多的“芯片自由”。
华为从P30系列开始采用RYYB CFA(滤波器)来提升进光量,其“夜视仪”级夜景效果至今让友商望尘莫及。而想要支持RYYB,必须有麒麟芯片的NPU助力,这是其他品牌无法模仿的优势。
(华为P30)
今年iPhone13全系跃升的摄影能力中,特色的“电影模式”主要依赖于A15芯片强大的算力和影像团队做出的算法。
高通的骁龙888也有很强的算法功力。在骁龙888内置的Spectra 580 ISP上,首次应用了他们的第十代3A算法。结合其全新升级的第六代AI引擎,在自动对焦、自动曝光、自动白平衡都取得了长足进步。
所以,vivo的ISP芯片V1定位是与处理器中的ISP协调并用,一起对成像算法端进行提升。V1主要起到的作用是高速计算成像,是对骁龙888计算能力的补足,用更强大的计算能力实时去噪和插帧,实现了所谓特色的“MEMC实时动态补帧”功能。
外置一颗自研ISP芯片后,确实会锦上添花,一定程度提高vivo旗舰机的拍摄能力,但到底进步多少,就见仁见智了。
至于小米的自研ISP芯片澎湃C1,据雷锋网报道:“澎湃C1实际上是一个协处理器,或者说Pre-ISP,在处理器ISP前进行图像处理,相对而言会比较容易处理,能够辅助处理一些特定场景的应用。不过,由于是在处理器外单独增加了一颗芯片,因此无论是成本还是功耗,都会有所增加。”
国产厂商的自研ISP芯片,确实会对影像提升有所助益,但还达不到苹果和华为那样底层技术掌控能力。想要做出本质上的自主掌控的影像创新,还需要更长的路。
2016年7月的华为半年业绩发布会上,余承东说道:“华为在智能手机领域研发投入起码每年三四十亿美元之巨。这些研发投入不仅有照相机、处理器和算法,还包括新材料、新工艺、新技术、芯片、软件等。这些创新投入期少则三五年,多则八年十年。只有我们这样投入,随着能量不断释放,才会越跑越快,让对手追不上。”
要实现芯片自由,八年十年甚至更久的磋磨,将是米OV们必经的过程。
1.《科普:关于ISP的原理、架构等等》,IP与SoC设计
2.《熵减:华为活力之源》,林江艳
本文来自微信公众号 “市界”(ID:ishijie2018),作者:董温淑,编辑:李曙光,36氪经授权发布。
相关推荐
下一个华为手机不好当
罗振宇调侃王思聪:富二代不好当 越勤奋越不好当
最前线 | 罗永浩回应限制消费令,史玉柱第二不好当
游戏手机会是下一个美图手机吗?
基金圈“薇娅”不好当
只能做4G手机、坚持不造车后,华为还能怎么走?
最前线丨华为AR眼镜专利曝光,这是手机厂商的下一个战场
救市主华为
华为之后,中国手机渠道寻找下一个超级“巨星”
软硬兼施,华为汽车“复刻”手机之路
网址: 下一个华为手机不好当 http://m.xishuta.com/newsview51305.html