从高速化、多像素化到最终实现小型化而开发的“Pregius S”
成为开拓机器臂等新市场的桥头堡
February 2, 2021
索尼半导体解决方案集团（以下称SSS集团）以世界首款CCD彩色相机的商品化为开端，始终走在世界前列，相继实现了背照式CMOS图像传感器、堆栈式CMOS图像传感器的商品化，不断创造出我们现今生活中不可缺少的产品。可以说，这里是最接近未来的地方。本企划将通过对产品开发成员的采访，了解不断引领世界趋势的SSS集团独特的产品开发方法和他们发现并解决课题的方案，希望可以从中窥见我们未来的发展方向。
第一次要介绍的是给产业设备领域的全局快门功能带来巨大冲击的“Pregius S”。本产品的开发遭遇了多次挫折与挑战，最终成功实现多像素化与高速化，彻底改变了产业设备领域对于成像的常识，此次，我们将从开发背后的故事开始，探寻今后成像技术的进化方向与未来趋势。
从CCD到CMOS
存在众多课题但市场需求强烈的全局快门功能的进化
―― 什么是全局快门功能
Tanaka：CMOS图像传感器（CIS）大致可分为2种快门方式。一种是卷帘快门方式（RS），这种方式边读取从光转换而来的电子边输出。另一种是全局快门方式（GS），这种方式会暂时存储转换后的电子，最后汇总后再输出。在RS方式下，拍摄快速移动的被摄体时，会有被摄体变形或者影像间断的情况，很难充分捕捉静止状态，而在GS方式下，是先捕捉被摄体全貌再输出，因此，它的特点是即使是高速移动的被摄体，也能呈现没有变形的静止图像。
GS经常搭载于产业用机器视觉相机上。在广泛领域被用于准确确认、检测快速移动的被摄体的用途，例如：工厂内生产线的检测、半导体装置、电路板贴装机、图像检测装置、显示器检测、食品及药品的检测、仓库内的物流线、使用扫码器等的货物检测、确认高速公路上的车辆车牌的ITS（先进道路交通系统）等。
―― CCD图像传感器使用的GS，为什么现在被搭载于CIS上
Yamane：过去，以索尼为代表的众多企业，根据原理多使用带GS功能的CCD图像传感器，但CCD图像传感器有一个很大的缺点，那就是耗电大。其电力消耗会随着传感器多像素化的进步而增加，因此客户对于省电也产生了迫切的需求。在这样的背景下，采用搭载GS功能且电力消耗少的CIS的产品逐渐问世，很快就受到高度关注。
Tanaka：CCD图像传感器还有一个缺点就是帧率问题。在产业界，节拍时间（一天的产量）非常重要，我经常直接与客户面对面，所以在平时就知道他们“需要速度更快的图像传感器”。在这样的状况下，其他公司开始在CIS上实现很高帧率的GS，SSS集团也面临着推出高速化GS的强烈要求。
另外，CCD图像传感器受结构影响，在拍摄强光时，会出现炫脉现象（拍摄亮度高出周围环境很多的被摄体时产生的白色光带）。ITS等在拍摄车牌时，会因为前灯而出现炫脉现象，但CIS的特点是不会发生这种问题。
Yamane：说到这儿就引出了一个直接问题，为什么过去CIS没有GS功能呢？那是因为如果CIS要搭载GS功能，就需要为传统的CIS增加特殊的结构。为此，相比一般的CIS，需要更加精细的技术，存储器存储结构的潜在设计、将其与光电二极管融合的设计、毫无遗漏地传输存储信息的技术、像素设计的技术、精细加工的技术等，所需的技术涉及多个方面。
另外，图像传感器与一般半导体的决定性差异是，图像传感器需要处理光。光漏入会直接变成噪点，因此彻底抑制漏光也是一项重要课题。
Tanaka：另外，我们在开发中非常重视的一点就是如何抑制画质整体的噪点（FPN：固定模式噪点）。因为我们听说其他公司的CIS遇到了很多投诉，称虽然在低耗电、高速性（高帧率）方面表现优异，但会产生很多噪点，导致画质不良。这就导致了一个重大缺陷，那就是即使能快速成像，但噪点会导致检测精度下降，因此检测装置生产商在积极采用CIS的这个问题上持犹豫的态度。
在这样的状况下，SSS集团走在世界前列，运用在市售的RS方式的CIS和CCD图像传感器的研发中积累的像素技术，开始着手GS方式CIS、“Pregius”的开发工作。
SSS集团以富有挑战性的规格设定与执行力
弥补了后发弱势，成功抢占市场
―― 后发的GS方式的CIS，“Pregius”的开发理念中有什么是绝不妥协的
Nishide：刚才，山根先生也提到了，CIS要搭载GS功能，就必须加上特殊的结构。具体来说，就是为每一个像素添加存储器，最终，导致了每一个像素的饱和容量变小的问题。为确保必要的饱和容量，就必须增大像素，但是我们的主要客户产业设备市场对小型化有着强烈的需求，因此，“Pregius”的开发必须解决“确保饱和容量”和“小型化”这两个相悖的课题。
在认识到这项课题的存在的基础上，“Pregius”推出了高分辨率以及16：9、4：3、1：1等不同长宽比的规格，从而广泛满足产业设备市场的各种需求。然后，我们对开发部门提出了新的要求，那就是实现高分辨率、小型化且性能大幅超越CCD图像传感器的特性。
Kumagai：业务部门提出要求，希望新产品尺寸小于传统产品，但又要维持饱和特性，对于我们开发部门来说，这个要求难度很高，为此相当苦恼。这里的本质问题是小小的像素能发挥多大的饱和容量，不运用前所未有的全新想法，就无法解决这个课题。
因此，针对传统的存储器保持型的潜在设计，我们挑战运用SSS集团的技术逐项解决问题，以求突破。我们参考了过去的事例，同时打破常规“加入所有想法进行验证”。用语言描述听起来很普通，但是提出想法这个作业是开发工作中非常令人兴奋的部分，也是非常辛苦的环节。
―― 不断诞生出新想法的忍耐力和创新力的源头是什么
Kumagai：饱和容量的问题实际被提出并显现出来的时候，我受到的冲击之大简直让人想要辞职。那时我曾经做过尝试，但是没能如预想的那样实现突破，是一段痛苦的经历。当时那种不甘心的心情一生难忘，正因为如此，这次的开发工作我是带着“这次一定要成功”这样的决心开展的。
最终，我们实现了多像素化、小型化，甚至成功解决了其他公司没能解决的噪点问题，获得了市场的高度评价，非常开心。
获得高度评价后，立即着手开发“Pregius S”
半导体领军企业特有的市场预测与战略
―― 有了备受好评的“Pregius”后又立即开始开发“Pregius S”的原因是什么
Tanaka：SSS集团的“Pregius”噪点远少于其他公司，这一画质特性得到了高度评价，但是产业设备市场需求的变化很快，客户开始期待更加小型化（微细化）、多像素化、高速化的产品。
因此，我们开始尝试将RS方式中的市面上已经成熟的背照式、堆栈式技术加入到GS方式中。如果能将传统的前照式结构变为背照式结构，光进入光电二极管的面积就会增加，从而提高集光效率。集光效率提高，那么即使进一步缩小像素尺寸，也能维持相同的感光度。实际上，“Pregius S”通过采用背照式结构，实现了前所未有的微细像素尺寸，并且同样的图像传感器尺寸，分辨率提升至传统型的约1.7倍。
另外，采用堆栈结构后，可在下层自由布局电路，因此，可在传感器内搭载各种功能，同时也实现了高速化。我们在“Pregius S”上进一步推进小型化、高速化和多像素化的同时，还提出了采用可以满足各种客户需求的设计的目标，并最终将其变为现实。
Image captured by image sensor with conventional structure*1 (conceptual image)
(12 megapixels × 3 frames)
Image captured by image sensor with newstructure (conceptual image)
(20 megapixels × about 4 frames)
Nishide：我在决定规格时，不能让步的是采用能装入客户常用的29mm×29mm大小的C卡口相机中的尺寸。在实现了这个尺寸后，再力求多像素和小型化，并且为了让使用“Pregius”的客户能简单地更换成“Pregius S”而明确要做到插脚兼容。
另外，客户的使用场景多种多样，与“Pregius”开发时相比，市场状况发生了很大变化。因此，为了让客户根据自身需求自由选择，我们在像素、长宽比、速度和接口方面推出了多种规格。
当然，在特性方面，使像素进一步微细化，同时维持或提升“Pregius”的画质也是不可妥协的要点。
―― 前照式和背照式的设计理念是完全不同的吗
Schematic cross section of chip
Yamane：采用背照式结构能增加进光量，实现多像素化，但是另一方面，必须遮挡进入多余部分的光，如何解决这两个相反的问题就是“Pregius S”的开发中最主要的课题。前照式因为配线等必然会形成遮挡结构，而改成背照式后遮挡结构就完全没有了。背照式的结构和技术是为了让集光效率实现飞跃性的提升，但讽刺的是，必须在好不容易没有遮挡的像素单元上又特意要构建遮挡结构。在决定以背照式的结构进行开发时，我们就认识到这部分是一个关键点，因此在工艺设计时非常留心。
Kumagai：在我负责的像素设计部分里，这个遮挡结构也是一项重大课题。只是加入遮挡结构，难度就已经很大了，加入遮挡结构后，在过去像素设计时可以自由使用的区域中出现了物理上不能使用的部分。并且，我们还发现遮挡结构对于饱和容量和传输也会有负面影响。设计上是没有任何问题的，但试制并测试后却得不到与设计一致的数值。因为加入了过去没有设想到的结构（遮挡物），设计的理论值和试制品的实际值间产生了差异，为了利用遮挡结构抑制光的进入，同时兼顾饱和容量与传输，我们投入了很多精力。
Yamane：必须最大限度地利用光，同时加入新结构发挥遮挡作用。像素设计已经耗费很多心血了，而在工艺设计方面，因为加入了过去没有的结构，导致了噪点、进光量不足等问题，经常无法达到设计的效果，我们就是在这样多次的失败后才推进了优化。
关于遮挡物的工艺设计和像素设计，各自部门按照自己的想法自行设计是行不通的。但是，熊本的工厂与厚木的开发部门不能频繁地见面交流，因此，大家连日通过网络交流和电话会议进行沟通。这方面，熊谷先生回应很迅速，我们有疑问时，一和他交流就能立即得到回复，这避免了开发工作的停滞，各项验证工作高效得以推进。
―― “Pregius S”集结了过去研发的多项技术。你们也是在考虑未来可能广泛应用的前景后进行开发的吧
Tanaka：“Pregius S”实现了前所未有的小型化、多像素化和高速化，有望在日益高精细化的贴装检测装置、3D外观检测装置、图像检测装置、物流行业的AGV（自动搬运装置）、机器人视觉等多个领域中发挥作用。
我们推出了多种规格，可满足24M～5M的多种需求，特别是5M可用于多个产业。过去的机器视觉多是通过在29mm×29mm大小的相机上再安装镜头构建的，今后，在装置中安装传感器和小镜头的嵌入型将得到普及。嵌入型并非以相机的形态，而是可以在嵌入式视觉装置等机器臂、AGV（自动搬运装置）等装置前端安装小型传感器，因此，除了过去的相机生产商，也能吸引物流现场等终端客户考虑导入。
另外，我们还准备了多种接口，并采用了凭借通用ISP也能简单开发的MIPI接口，对于首次开发机器视觉的客户来说，导入工作将变得简单。
IMX530-AAMJ(White & Black）and IMX530-AAQJ(Color) that use Pregius S technology
Nishide：另外，Pregius S在高速下的识别性能优异，因此也有望被广泛导入ITS。在高速公路等场景中的车牌识别中，GS的需求不断增长，多像素、高精细、高速、小型且噪点极少的特性，令“Pregius S”成为最适合ITS的传感器。
Tanaka：另外，考虑到今后的趋势，还有望用于循环利用、SDGs（环境、教育、保健等）、科学、VR、希望使用多视角相机的体育等广泛领域。
特别是在体育行业，GS可以捕捉足球、棒球等高速运动的球的动作并避免失真，从拍摄美丽影像的角度来看，“Pregius S”的必要性将日益增加。
Kumagai：GS是确保同步性的唯一技术，因此，也可用于头戴式显示器、移动设备等市售产品。
Nishide：除了以高分辨率识别高速物体的特性，此次，“Pregius S”还有一项名为Artifactless HDR的新功能，这项功能可以确保无论是在明亮环境还是昏暗环境下都能拍摄出清晰的影像，并且即使拍摄快速移动的被摄体也能避免失真，因此，有望用于更广泛的识别领域。
Yamane：我从CCD图像传感器时开始参与研发工作，现在CIS上也搭载了GS功能，实现了高速性与低耗电，而背照式更是进一步推进了多像素化和高速性。过去，它们主要被用于产业设备市场，如果市场对清晰、高精度的图像有更高的需求，那么它也具有在民生用途等场景中得到广泛应用的潜力。
SSS集团的挑战没有终点
可能性还将不断扩大，有多少客户就有多少需求
―― 最后，请介绍今后的挑战课题
Tanaka：社会不断发展，与20年前相比，我们的生活的确变得非常方便了。今后，智能手机将更加便利，汽车也将逐渐实现自动化。在这样的背景下，我们将发掘让人们生活更加幸福的迫切需求，与设计开发人员合作，为社会提出前所未有的优质图像传感器的解决方案。
Kumagai：在此次“Pregius S”的开发中，我们实现了微细化，但推进微细化的工作并没有结束。像素的微细化与提升分辨率和识别能力密切相关，因此我们将以实现GS的进一步微细化为目标，挑战新技术。
Nishide：为提升识别能力、提升工厂等的总处理能力、扩大相机使用的温度范围，我们将追求高帧率和接口高速化。“Pregius S”已经实现了相当程度的高速化，但实际上，很多客户对于高速化有更高的要求。但是，高速化后设备会发热，导致相机可以使用的温度范围变小，因此，降低耗电是抑制发热的关键。为降低耗电，我们将与开发人员合作，挑战新技术。
Yamane：现在，图像传感器被用于各种场景，但我想今后，我们需要针对各种用途，分别突出特性。HDR、测量距离的传感器、擅长在黑暗环境中使用人眼不可见的波长成像的车载传感器等，不同目的所需的特性千差万别。要满足各种需求，自然需要特殊的技术，因此我们将探索扩展各种特性的新技术。
