姓名：刘一婷；学号：20021210599；学院：电子工程学院
转载于 ：微信公众号“计算机视觉life”’
原文链接：https://mp.weixin.qq.com/s/cR4PmeDF1ZPrs9kbmXYk2Q
【嵌牛导读】手机后面摄像头越来越多，它们有什么样的功能？
【嵌牛鼻子】多摄，TOF，高倍变焦
【嵌牛提问】未来手机摄像的产业趋势是什么？
【嵌牛正文】
从第一台带有摄像头的手机诞生开始，短短的十几年内手机摄像技术得到了质的飞跃。防抖、暗光高清、HDR已成手机标配，随着智能双摄、智能场景拍摄等AI拍照功能加入，使得手机摄像技术的对标也直指单反。市场的激烈竞争，使得手机厂商自然不会放过每一次技术革新带来的巨变。随之而来，作为产业上游——手机摄像产业又会面临怎么样的洗牌和迭代故事？
2009-2012单摄像素的追求与3D内容双摄的尝试
早期单摄像头手机时代，手机在拍照方面还是以单纯的提高图像分辨率为主，在普通大众眼里，“手机像素越高，拍照效果越好”，手机图像传感器的分辨率从早期的30万像素一路飙升到千万像素以上，手机拍照也就逐渐取代了卡片相机，这一阶段随着2012年Nokia 推出高达4100万像素808 PureView手机而达到高潮。
由于手机本身追求轻薄化的外观，硬件的限制导致单纯提高分辨率并不能够有效提升拍摄质量，因为两千万的像素已经接近手机图像传感器成像的极限，故当前手机拍摄都锁定在800-2000万像素之间。
2011年，3D概念非常流行，比如3D电影、3D电视，当时在手机领域大红大紫的HTC想成为第一个吃螃蟹的厂商，推出了3D手机HTC EVO 3D，后置500万+500万像素彩色相机，主要用来拍摄3D照片和3D视频，实现裸眼3D效果。LG、夏普也随之推出类似功能。不过，由于当时的3D效果不好，并且实用性较差，3D视频分享也不方便，这类手机尝试也随着3D热潮退去。
2013-2016多元化需求点燃双摄走向成熟
2013年，智能手机拍摄已经向夜景/暗光拍摄、防抖拍摄、全景拍摄、HDR拍摄等多元化需求转变了。在这一年9月，iPhone 5S主打拍摄也进一步刺激了市场。与此同时，HTC再次选择双摄想来打个翻身仗，2014年3月，HTC推出了用于背景虚化的双摄手机One M8，配备主摄400万+副摄200万后置彩色摄像头，目的是想在手机上用双摄获取景深以实现单反大光圈的拍摄效果。遗憾的是，HTC虽然硬件设计能力很强，但是双摄配套软件，尤其是双摄核心算法方面还不成熟，其背景虚化效果在稍复杂的的场景便会出现明显破绽，加上副摄像头所能提供的细节信息太少，实用性不强，因此并没有被市场所认可。至此，HTC在双摄方面两次尝试都已失败告终。
回头看，全球第一款真正意义的双摄手机应该是铂顿（大观5），这是由酷派在2014年8月推出的。 该手机后置RGB+RGB双摄，拍摄人物主体锐利突出，背景虚化效果自然，该RGB+RGB双摄方案得到了用户和市场的认可，成为后来RGB+RGB的双摄主流方案。另外，华为在那个年代，也开始在双摄方面布局，不过华为早期尝试的是另一种称之为“拼接双摄”的技术方案。2014年12月，华为推出了其第一款双摄手机荣耀6 Plus，后置800万+800万像素RGB+RGB配置。这款双摄手机主打的是低像素合成高像素，也就是两个800万像素镜头拼接合成一张1300万像素照片，所以称之为“拼接双摄”。不过因为成像效果落后于同时代手机，且背景虚化时前景物体边缘过度不自然，市场反应平平，因此华为也选择了淡化这款手机，不再推出其下一代产品。
2015年8月，奇酷360推出 RGB+Mono旗舰版双摄手机，也是全球首款采用RGB+Mono组合的手机。由于暗光成像效果出色，该双摄组合后来也成为主流的双摄配置，为后来该方案大规模普及奠定了基础。 随后，2016年4月华为也发布了采用RGB+Mono方案的双摄手机P9。这款手机与徕卡合作开发，无论是光学水准、品控、镜头模组的打磨，还是后期软件算法的调校都比较出色，能够实现大光圈、黑白相片、徕卡德味的照片效果。市场反响不错，因此之后华为大部分旗舰手机都选择了RGB+Mono的双摄配置。
安卓厂商的创新也进一步刺激了苹果公司，2016年9月苹果推出广角+长焦（wide+tele）的iPhone 7 plus，该组合的目的是实现光学变焦。这其实是一种非常朴素的变焦思路：用两个焦距不同的摄像头搭配，宽视角的广角镜头可以“看”的很广，但是“看”不清远处的物体，而窄视角的长焦镜头虽然“看”的范围不大，但是“看”的更远更清晰。广角和长焦镜头组合搭配，在拍照时通过镜头切换和融合算法就能实现相对平滑的光学变焦。高像素的长焦镜头能保证广角镜头因变焦而损失的图像信息远低于单摄像头的数字变焦（假变焦），从而得到较好的光学变焦体验。此次iPhone 7 Plus的双摄像头升级是iPhone问世以来在摄像头方面最大的一次改变。
算法公司与模组厂商是成就双摄的主要功臣
算法公司对双摄的发展起了非常大的促进作用，对行业起到最大作用是Linx、ArcSoft虹软、Altek这三家公司。Linx因被苹果公司收购而出名，苹果双摄基本采用该公司的软硬件方案。ArcSoft虹软则是2014年酷派RGB+RGB与2015年奇酷的RGB+MONO的背后双摄算法提供方，当前各安卓手机的Wide+Tele方案主要也是该公司提供的解决方案, Altek则主要是早期给华为提供双摄模组以及算法的供应商。
双摄模组厂商主要有三星电机（SEMCO）、LG Innotek、舜宇（Sunny）、欧菲光（O-Film）、丘钛（Q-Tech）、信利（Truly）、光宝（Liteon）。早期双摄市场不明朗的时候，观望徘徊是双摄市场的主流，很多安卓手机厂商密切关注苹果在双摄方面的动向。保守的策略虽然暂时是安全的，但是也会错失行业的历史性机遇。这方面比较有进取心和定力的是大陆老牌模组厂舜宇光学（Sunny Optical），率先在双摄模组研发方面发力。依靠深厚的技术积淀，舜宇在2015年自研成功了AA设备，为2017年双摄爆发积蓄好了技术和经验，最早在双摄模组领域站稳了脚跟，目前舜宇是大陆双摄产业链中最受益的模组厂商。
单摄像头手机时代，算法供应商与模组厂之间是独立运作，不需要交流，厂商直接采购镜头，算法公司则直接在手机生产尾期进入调试成像效果，算法供应商在产业链中的话语权并不高。而在手机双摄时代，手机产业链格局发生很大变化，双摄算法供应商开始扮演重要的角色。这是因为手机双摄软硬件技术门槛都很高，首先需要模组厂制造出高精度高一致性的双摄模组，和单摄相比制造难度成指数级上升，但是世界上没有两片完全相同的叶子，套用在双摄模组上也同样适用，由于制造工艺的误差，两颗摄像头不可避免会在镜头参数和组装精度有所不同，这就需要算法供应商的相机标定算法对误差进行测量并后期修正。
在双摄算法中，相机标定可以解决两个相机生产过程中由于制造误差产生的光轴不平行问题，同时校正由于广角镜头造成的图像畸变，是双摄算法的基石。双摄模组标定的几个关键评价点是：1、标定精度高，这是双摄算法基础；2、标定速度快，对出货量极大的手机来说时间就是金钱；3、标定方案简单易用、可以快速部署；4、标定图案物体尺寸小，方便工作站使用；5、标定方案鲁棒性强，具有良好的容错性，即使出现的偏差也不会对结果有大影响；6、兼容性强，适用于多种双摄组合，可以重复利用。
双摄模组一般分为共支架和共基板两种，其中共支架方案组装精度更高，而共基板的方案组装精度低一些，成本也相对低。不过随着模组厂组装工艺的不断改良和提升，两种方案的精度差别逐渐缩小。此外，最近还有一种“无支架”的概念，所谓“无支架”并不是没有支架，其本质就是绕开模组厂的封装和标定，手机厂商把两颗单独的镜头直接放置在手机上。这种方式虽然看似节省了部分模组封装的成本，但存在一定的隐患，其一，手机在售后维修过程中，两颗相机很可能发生移动，如果没有专业的人员和特有的标定工具进行重新校准，很可能会极大的影响双摄成像效果，所以手机厂商必须要引进专业的维护人员及新的设备，这无疑增加了售后流程的复杂度和投入成本。其二，即便平时使用过程常见的摔碰、拆机等情况，无支架方案也比主流双摄方案的手机更容易出现镜头错位的情况，影响消费者的使用体验，所以，目前这种无支架方案还仅仅在对成本敏感的部分低端机上使用。无支架方案的产生，主要出于手机厂商对成本的考量，虽然各主流算法公司都有在跟进，但前景如何还需市场进一步考验。
算法供应商需要根据手机厂商的需求，针对不同搭配组合的双摄模组进行针对性的双摄算法设计和优化，实现背景虚化、暗光高清、光学变焦等功能。最后手机厂商联合模组厂、算法供应商等进行拍照效果的联合调优。双摄算法门槛极高。主要体现在如下几点。
算法研发壁垒高。双摄算法涉及计算摄影学、计算机视觉、光学、摄影美学等多个交叉领域的融合，属于新兴的技术，很多时候是摸着石头过河，既要紧跟前沿学术研究，又要脚踏实地产品化落地。另外对算法的鲁棒性要求极高。一方面由于手机出货量巨大，且内部集成了成百上千种元器件，很难保证同一型号所有摄像头模组硬件参数一致；另一方面，用户拍照场景（环境光照、运动状态、角度、距离等）千差万别，这就要求算法能够在许多不利环境下仍能正常工作，这对算法鲁棒性提出了极高的要求。
工程化应用要求高。手机产业对时效性有非常苛刻的要求，如果手机双摄开发流程出现问题，算法供应商要能够第一时间帮助客户定位问题解决问题，这需要非常紧密的上下游产业链协同合作和丰富的行业经验。此外目前大部分双摄旗舰机都是由算法供应商根据不同的硬件进行高度定制化开发，需要能够根据客户的需求进行快速的调整和优化，尤其是手机上市前，算法提供商需要具备一只强大的现场支持工程师团队。
产业链合作要深入。算法提供商提供的其实是一整套双摄技术解决方案，算法本身是基础，此外还需要对处理器平台厂商的处理器架构非常熟悉，形成战略合作，从而将算法融入处理器平台，此外需深入了解手机厂商的需求，打通处理器平台厂商和手机厂商之间的快速通道，帮助客户将双摄技术快速落地。
当前，全球能够提供核心双摄算法的公司并不多。苹果、华为都有软硬件闭环的生态，所以有能力通过收购或者自研的方式组件自己的算法团队。除了苹果华为之外，第三方开放算法供应商ArcSoft在安卓市场占据绝对的领导地位，具备所有双摄组合的解决方案，主流手机八成以上的安卓旗舰手机都采用的ArcSoft的双摄方案。以色列的算法供应商Core photonics在竞争激烈双摄领域已逐渐被挤出市场。台湾的华晶科技（Altek）既做模组也做图像处理ASIC，其双摄算法效果比较一般，主要搭配硬件面向低端手机市场出售。
2016-2018双摄全面爆发，产业链基本定格
双摄已进入标配期，产业链也基本定格。根据IHS Markit 提供的数据，2017年全球手机出货量市场份额如下。中国手机厂商华为、OPPO、vivo、小米的总市场份额约等于三星和苹果的市场份额之和。而双摄在中高端设备渗透率已超过50%。
2017年全球top7手机厂商对应的双摄算法公司、处理器平台厂商、相机模组厂商如下所示：
目前，双摄算法主要分为以下几大阵营。
苹果依靠收购的Linx公司和自身多年的图像处理技术的积累，在iOS系统上形成了闭环的生态系统。其推出的双摄手机均为后置Wide + Tele组合。
安卓旗舰双摄手机市场，华为凭借内部算法团队和海思麒麟处理器形成了类似苹果的生态闭环。其推出的双摄手机几乎都是RGB + Mono组合。
除了华为外的其他安卓手机阵营。
ArcSoft虹软是双摄算法供应商的引领者，主要面向中高端手机，估计其全球主流双摄手机出货量已超过80%。虹软提供Wide + Tele、RGB + Mono、RGB+RGB全部的双摄组合解决方案，并且和平台厂商有非常深入的合作，产品落地能力极强，行业口碑很好。低端双摄手机方面，手机厂商为了节省成本，一般不会单独定制双摄算法，主要是使用平台厂或模组厂提供硬件时搭配的双摄算法，效果非常普通，但是价格便宜。
手机摄像头模组的核心零部件主要包括：图像传感器（CIS）、镜头（Lens）、音圈马达（VCM）、红外滤光片（IRCF）等。主要供应商都集中在亚洲的日本、韩国、中国大陆、中国台湾地区。根据TrendForce发布的手机产业链市场数据， 2017年CMOS传感器的市场份额最大，之后依次是模组、光学镜头、音圈马达和滤光片。 双摄应用后，模组封装技术难度增大，镜头要求更高，因此其相应产业链的附加值提升速度已加快。
图像传感器属于集成电路芯片范畴，这一领域Sony、Samsung是最重要的两家公司，其产品主要面向中高端手机，两者市场份额都占三成左右，总共占据全球一半以上的市场。排名第三的OmniVision已于2016年初被中资集团收购，然后是韩国的SK hynix和中国厂商格科微（GalaxyCore），后者主要面向中低端产品。
双摄模组厂供应商非常多，位于第一梯队的主要有：舜宇（Sunny）、欧菲光（O-Film）、三星电机（SEMCO）、LG Innotek（苹果手机供应商）、丘钛（Q-Tech）、信利（Truly）、光宝（Liteon）。下图是2017年手机摄像头模组厂市场占有率（数据来源：TSR）
双摄镜头供应商方面，台湾的大立光电（Largan）是绝对的龙头企业，2017年出货量占全球市场超过3成份额。此外，出货量较大的还有中国大陆的舜宇（sunny）、韩国Sekonix等公司。
双摄音圈马达供应商主要有：日本的Alps、TDK株式会社、三美电机株式会社（Mitsumi）、韩国的Jahwa几个厂商。
当前双摄处理器平台厂商主要有：高通、三星、苹果、华为海思、联发科。
2018-2020手机摄像未来趋势：向多摄与深摄蔓延
2017年是双摄手机爆发的元年，如今各大手机厂商旗舰机不管是前置还是后置基本都是双摄配置，并且随着双摄成本的下降，双摄手机必然将下沉到千元机。接下来，手机摄像头如何发展，是摆在业内人士的一个问题。对于行业来说未来有挑战更有机遇：
1
多摄像头手机方案
双摄的成功，自然会让人想到使用更多的摄像头的方案，第一个尝试该方案的是华为P20 pro，该机后置采用RGB+Mono+Tele的三摄像头配置。从镜头的功能上来看，既可以利用RGB+Mono的组合实现超级夜景拍摄，也可以利用RGB+Tele实现光学变焦的能力。通过三个镜头的视觉差也可以获取拍摄对象的景深，实现大光圈的效果。通过实际测试，华为P20 Pro三个摄像头并不能同时工作,只是根据不同的应用场景进行两两摄像头的组合，这种组合本质上是实现可变更组合的双摄。
三摄镜头示意图
将来可能出现三个及以上更多摄像头（多摄）的方案，将不同的多摄像头搭配可以组合出很多的玩法，将不同组合双摄的优点集中在同一款手机上，所以实用性很强。据悉，下一代苹果手机也很可能采用多摄像头的方案。
2
高倍光学变焦
光学变焦在拍照中是非常刚需实用的功能，但目前基于W+T的双摄手机一般实现的是2倍的光学变焦，和单反甚至带伸缩变焦镜头的卡片机（至少5倍以上的光学变焦）相比，仍然有较大差距。因此，手机产业链对光学变焦非常重视，在未来的一两年内手机上很可能会有以下两种高倍光学变焦方案
多个（至少3个）定焦镜头组合实现高倍光学变焦。本质上和之前双摄的光学变焦原理类似，但是镜头的增加会提高硬件成本，对模组精度要求也较高，再考虑到光学防抖，对算法供应商来说也是一个很大的挑战。
潜望式光学变焦。其原理是在手机机身内部放置一个和手机屏幕垂直的内驱光学变焦模组，然后利用折射镜接收外界光线，这相当于让复杂的光学变焦系统与机身实现了平行设计，不影响手机本身的厚度，而且和单反或伸缩式卡片机相比，可以更好的防尘防水。不过，潜望式光学变焦也有很多缺点：一是复杂的 光学变焦系统对模组制造及手机装配有非常苛刻的要求，二是后期算法的调教也比较困难。对模组厂和算法 供应商来说都是很大的挑战。
3
搭配深度相机
结构光方案深度相机
去年苹果发布了具备前置结构光深度相机的重量级产品：iPhone X，其杀手级的应用就是携带了 三维人脸识别技术的Face ID。其中结构光方案采用伪随机散斑，该核心技术由苹果公司收购的PrimeSense公司提供。今年，小米、OPPO也推出了前置结构光深度相机的手机。
那么将来会不会前置结构光成为流行趋势呢？这里要打一个大大的问号。主要有以下几个考虑：
苹果的结构光软硬件方案技术壁垒非常高，处于垄断地位。就全球手机产业链来说，目前能够提供足够精度的结构光方案只有苹果自己的供应链。除苹果外的第三方供应链目前精度还相差甚远，成本也居高不下。
目前安卓手机前置结构光方案和苹果的技术方案 可能存在专利纠纷，一旦苹果打专利战，安卓阵营胜算不大。
结构光方案深度相机应用场景比较单一，主要集中在Face ID、动画表情、人脸光效及人脸相关应用，未来可扩展应用空间有限。
结构光方案深度相机需要发射器和接收器之间保持一定的距离（基线），模组占用空间较大，这对于空间非常有限的手机来说是很大的劣势。
总之，结构光方案短时间内仍然掌握在苹果手中，安卓阵营话语权不大。发展空间有限。
飞行时间方案深度相机
飞行时间（Time Of Fly，简称TOF）方案的深度相机在将来会有非常大的发展。和结构光方案相比，飞行时间方案有如下几点优势：
TOF方案相对简单，产业链发展的比较成熟，如LG Innotek、Sunny optics、O-Film等一线模组厂都能够提供高质量模组
TOF方案不需要发射器和接收器之间保持一定的基线，甚至基线为零都可以，因此其模组体积可以做的非常小。非常适合对空间要求苛刻的手机。
TOF方案可以通过发射功率控制使用范围，既适用于使用距离较近的前置三维人脸应用，也可以在使用距离较远的三维场景扫描、增强现实等领域使用，应用场景很丰富。
因此，未来一两年内TOF方案很可能会成为手机深度相机发展的主流趋势。
4
多功能摄像头技术和其他图像技术的融合
随着多摄像头与深度相机的使用，手机可获取到丰富的图像信息，通过将这些信息融合可以进一步提升暗光拍摄、逆光拍照、美颜、人像打光、HDR（高动态范围）等功能；另外，AI技术也将与其他技术一起整合，产生更好玩的拍摄功能，除了进一步提升AI解锁、AI场景识别、Animoji等功能，更多的人脸AR交互与体感交互将有可能是未来的主要方向。
本文来自半导体行业观察的分享。
