INDUSTRIAL

图像传感器

高动态范围的安防用图像传感器 在拍摄移动物体时也不会产生模糊或染色 将大大改变曾经对安防相机的认知

January 28, 2022

随着用于空间监控的安防用图像传感器的日益重要,人们对其性能的期待也越来越高。这些性能包括在昏暗场所中也能进行识别的低照度特性,在入口等逆光环境中也能识别面容的高动态范围,以及正确拍摄动态被摄体、抑制模糊与染色的特性等,而仅对现有传感器产品进行改善的话依旧无法满足所有要求。因此,索尼开发了STARVIS 2。从零开始重新设计图像传感器的结构,实现了独一无二的特性。从与开发团队的交流中我们了解到,这一压倒性特性的开发是在新冠肺炎疫情这种困难的环境下,通过同时推进全新技术开发与产品化这两方面来开展的。这个艰巨的项目能取得成功有两大关键,即索尼半导体解决方案集团(以下简称“本集团”)独具的知识经验与团队力量。

Y.Shimizu

Sony Semiconductor Solutions Corporation
Imaging System Business Div.

S.Iwabuchi

Sony Semiconductor Solutions Corporation
Research Div.1

T.Kawamura

Sony Semiconductor Solutions Corporation
Research Div.1

A.Shirahama

Sony Semiconductor Solutions Corporation
Sensor Product Design Div.

* 2021 年 10 月访谈时的信息。

兼具卓越低照度特性的STARVIS 令客户惊叹“Impressive!”

―― 传统的安防相机存在哪些课题?

Shimizu:传统的安防相机在低照度时画质性能要求一直是个课题。当周围环境昏暗、光量不足时,需要提升感光度,但要提升感光度就必须增加像素尺寸。然而,如果增加像素尺寸,图像传感器本身就会变大,单价也会上涨,而且镜头也会变大,这必然导致相机本身的尺寸增大。
相机尺寸增大,在设置场所上就会有限制,所以我们必须开发兼具小尺寸和高感光度的图像传感器。
于是,我们通过将前照式结构的图像传感器改为新开发的背照式结构,开发出具有更高感光度的STARVIS。

―― STARVIS的开发是否顺利?

Shimizu:过去的封装有一个问题,那就是如果使用背照式CMOS图像传感器,就会发生反射/眩光鬼影*1。虽然背照式结构更容易捕捉光线,但另一方面,多余光线进入后,就会导致这些现象。我们经过反复摸索,新开发了可避免多余光线进入图像传感器的元件结构,制作出不会发生反射/眩光鬼影的封装。

*1:将镜头对准强光源拍摄时,照片过度曝光或者出现光圈和光斑的现象。

―― 对于搭载世界首创*2的面向安防相机应用的背照式CMOS图像传感器产品,市场有怎样的反应?

*2:2014年8月STARVIS发售,索尼调查结果。

Shimizu:STARVIS导入时,市面上已经有相同像素数量的全高清前照式CMOS图像传感器和背照式CMOS图像传感器这两种产品了。因为能够在相同条件下对这两种产品进行比较,所以我们可以边给客户实际展示差异边进行洽谈。这两种图像传感器的性能有很大不同,从影像本身来看也有明显的差异,客户连连惊叹“Impressive!”,得到了多方面的好评。

新技术确立与产品开发同时推进
STARVIS 2实现了世界首创*3的独一无二的特性

*3:2021年6月STARVIS 2发售,索尼调查结果。

―― STARVIS 2开发的契机是什么?

Shimizu:契机就是客户的要求与期望。开发出STARVIS后,低照度下的感光度提升了,画质也更好了,但是除此以外,客户还提出了一些其他期望,比如在入口等外面明亮的环境中,面容会因为逆光而变得很暗,因此客户希望扩大动态范围,从而在这类场景中也能正确识别面容。为了实现这一性能,我们开始了STARVIS 2的开发。

―― STARVIS 2的开发是如何推进的?

Shirahama:我们的想法是不牺牲STARVIS的低照度性能,并且实现更宽广的动态范围,因此想到了可以使用公司内正在开发的工艺技术与电路技术。为此,首先,我们致力于这两项技术的确立。
当时这两项技术还处在开发讨论阶段,尚未正式确立,但另一方面产品化的日程已经确定,因此,我们必须在确立技术的同时推进产品化的进程。

搭载STARVIS 2的图像传感器

IMX678
F=1.6, Exp=33.3ms, Gain=48dB

搭载STARVIS的图像传感器

IMX334
F=1.6, 33.3ms, Gain=57dB

在不牺牲STARVIS的低照度性能的同时,实现了广域动态范围

―― 此次的开发过程是不同于一般产品开发的特例,开发进展得顺利吗?

Shirahama:一般是技术完备后进入到产品化阶段,而这一次我们同时推进,因此必须以非常短的周期进行开发和验证。除了逐一击破各项课题、不断前进之外,别无选择。正因为是这样的状况,所以我们最初的试做品存在很多问题,根本无法产品化。
但产品化的日程并不宽裕,也不能随便延期,因此,如何在钻研课题的同时推进整个项目非常重要。有时忍不住想要放弃,但还是要攻克课题,紧盯日程表,一步一步向前进。就这样,想要放弃的时候逐渐地变少了,与之相比,开始越来越多地觉得成功有望。这一次是我们这些成员第一次作为一个团队一起工作,但无论是解决课题的能力,还是在紧张的日程中顺利推进项目的调整能力,都让人觉得“这支队伍很厉害”,在这个团队中工作非常愉快。随着项目的推进,对团队的信赖感也不断增强,这是在此次的项目中收获的特殊经验。

―― 此次的开发在新冠疫情下进行,面对面推进开发的机会也很少,是否觉得难度很大?

Shirahama:无法面对面,会成为交流上的瓶颈。我在项目推进中,非常重视印象,而在此次这样无法与对方面对面的情况下,在交流问题、课题时,我非常注意表达方式。在讲话中避免采用指责他人的说法,而是把重点放在如何解决问题、课题上。指责他人,会让对方觉得你很可怕,从而听不到自己想听的意见。

―― 在STARVIS2的开发中,遭遇了哪些困难?

Kawamura:保留产品现有的优点,改善课题点,这是我们开发的基础。
这一次,为解决扩大动态范围这一课题,我们必须增加光电二极管的饱和量。于是,我们舍弃了过去将光电二极管设置在硅材料表面的结构,开发出在硅材料内部纵向存储电荷的结构。

同时,我们还导入了高动态范围功能*4这项新技术。

*4: 用于捕捉明暗差(动态范围)显著的场景的功能。可拍摄更大亮度范围的影像,并通过自动调节亮度,可抑制过度曝光和暗部模糊

这两种尚未确立的全新结构的开发必须在产品化的日程中进行,因此,开发期间非常紧张,是一项巨大的挑战。刚才白滨先生也提到了,最初的试做品发生了电荷传输不良,我们面临着各种问题,甚至无法对问题做出评估。

Iwabuchi:这种纵向结构的光电二极管过去没有在图像传感器上应用过,从量产化这个角度来说,是一项高风险的技术。但是要实现广域动态范围,无论如何都需要能带来突破的技术,而厚木的开发线上也有试做框架,因此我们首先从试做开始,刻画好开发的里程碑,从原理验证开始逐步推进。此次产品化的日程是以所有技术开发都顺利进行为前提制定的,因此,在起步就连连受挫的情况下,如何维持开发日程,我们一直如履薄冰。

Shirahama:岩渊先生安排日程的能力很强。为我们提供了很大的帮助。

―― 这些课题是如何解决的?

Kawamura:这个只能逐一攻破。一次性全部解决那是天方夜谭。将现在的状态毫无保留地展示给白滨先生与岩渊先生,共享课题的同时也找到项目团队以外的公司内部专家挨个咨询。

Iwabuchi:扩大动态范围,需要增加饱和信号,另一方面还必须抑制噪点。
此次采用的全新纵向结构是增加饱和信号量的划时代结构,但为切实传输增加的信号,我们投入了很多心血改进工艺条件。
另一个与抑制噪点相关的就是,因为结构和工艺都是全新的,所以我们充分预测到会导致噪点产生的暗部特性恶化的情况。
为了同时解决增加饱和容量与抑制噪点这两项课题,
我们采取了各种对策,例如重新审视像素条件、布局、加工工艺等,最终实现了可满足客户要求画质的特性。

超越传统安防用图像传感器的范畴
蕴含无限可能的STARVIS 2

―― 利用STARVIS 2可以实现哪些解决方案?

Shimizu:至今为止的STARVIS具有强大的低照度性能。我们在此基础上增加广域动态范围的特性后,有一点,就是可以在入口等场所设置的安防相机上发挥其特性。入口处,门外有日光照射,人由此进入时,人脸处于逆光,传统相机拍摄的人脸总是一片漆黑,而外面则因为过度曝光而呈现雪白一片。在这种明暗差较大的状况下,STARVIS 2凭借其高动态范围,可清晰拍摄面容,还能消除明亮的门附近的过度曝光。
另外,过去的高动态范围功能是对短曝光时间和长曝光时间下分别拍摄的多张照片进行合成,因此如果是动态的被摄体,人物、面容等会模糊或染上奇怪的颜色。
此次新设计的STARVIS 2使用了名为ClearHDR的功能来实现模糊和染色现象的消除。该功能增加了饱和容量,利用增益差(亮度的灵敏度)来取代时间差进行同步拍摄。
由此,在入口等环境中的面容识别率显著提升。

Kawamura:即使在夜间环境、隧道出入口等明暗变化显著的场景中也能正确拍摄,因此可用于行车记录仪,而且面容、物体的识别率也有提升,所以更便于与AI联动,将在更多场景中得到充分利用。

―― 刚才提到了AI,在开始开发STARVIS 2时是否考虑了与AI的联动?

Shimizu:当今时代的安防相机几乎都是与AI联动的。联动的方式各种各样,比如在相机上搭载AI技术或者将影像上传至云端再由AI分析等,但实际拍摄影像只能依靠图像传感器。无论AI有多强大的影像分析功能,如果图像传感器不能正确拍摄影像,一切就无从谈起。因此,我们从开发之初就考虑了与AI的联动。并且,我们认为通过推动与AI的联动,安防相机用图像传感器的需求也将越来越大。

―― 请介绍未来STARVIS 2的可能性

Shimizu:我们将以扩大了动态范围的STARVIS 2为基础,扩展应用领域,未来的目标是实现Auto Exposure Free。现在在拍摄昏暗场所时要使用闪光或照明,但我想不需要闪光和调整快门时间的时代即将到来。未来将实现从最亮到最暗部分的全自动拍摄。

Kawamura:现在已经实现无人机配送了,但这项技术多采用送货至特定位置的方法。如果能够结合此次开发的图像传感器、AI、ToF方式测距图像传感器等,那么夜间安全配送也有望实现,而确认位于指定场所的本人的面容后,还能准确送货到本人手中。除了在安防方面的贡献,还能不分昼夜用于遇险者搜救等救援活动中,因此应用场景也很广阔。

Iwabuchi:关于技术上的可能性,此次,随着在硅材料中纵向储存饱和电荷量的工艺开发,我们还开发了更容易将存储的电荷取出的晶体管。因此像素设计的自由度将大幅提升,增加了实现前所未有的全新像素结构的可能性。此次的产品还仅仅是一个开始,今后,我们将以此为契机,推进划时代性的元件开发。

―― 请介绍未来要挑战的目标

Shimizu:我们经常在开发中途就向客户展示试做品,此次,我们在如此严峻的环境下所取得的成果让客户惊叹不已。而且,对于客户要求的特性也做出了承诺,这一点也得到了高度评价。此次的产品实现了压倒性的特性,让我们倍感骄傲。
除了过去已经导入这款产品的美国、欧洲、中国等地区,我还希望今后将销售渠道拓展到东南亚、非洲,使它在真正意义上成为全世界广泛使用的图像传感器。
Shirahama:我希望通过世界首创的新技术开发和商品化的实现,为全世界人们带去感动。另外,此次开发中挑战各种课题、攻克难关的经历,对工程师而言也是一种乐趣。我希望能尽自己的绵薄之力,让公司形成适合挑战新事物的环境,成为每一个人都愿意积极挑战的自由开放的企业。

Kawamura:此次,我们改用了全新的像素结构,但这还只是一个开始。纵向设置光电二极管后,其深度越深,就越能增加饱和容量,这一点蕴含着巨大的可能性。在今后的安防领域,图像识别率的提升会非常重要,因此,我们必须在实现像素微细化的同时,进一步提升红外线感光度和高动态范围等像素特性,进一步扩大图像传感器的应用场景。

Iwabuchi:我认为索尼的优势在于像此次的STARVIS 2这样,能够运用其他公司难以效仿的工艺,率先开发具有卓越特性的图像传感器。公司具备鼓励员工挑战新事物的环境,而且各领域的工程师也充满挑战新事物的积极性。我希望发挥这种环境的优势,继续开发彰显索尼特色、独一无二的划时代的图像传感器。

相关内容