基于事件的视觉传感器能够如同人类视神经那样只对变化部分进行监测，将为AI和机器人开辟一个充满可能性的广阔世界
March 25, 2022
基于事件的视觉传感器（以下简称EVS）模拟了人类视神经。完全不同于传统的基于帧的图像传感器，EVS只会将有亮度变化的部分捕捉为轨迹，因此没有帧的概念，也就是不会将感知到的静态对象识别为图像，其特点是即使高速移动的物体也能实时监测。并且，正如模拟视神经这句话所说的那样，EVS有望成为AI和机器人的眼睛，它的实用性将帮助机器人更快地对事物做出判断。索尼半导体解决方案集团（以下简称本集团）开发的EVS，有望今后在产业机器等领域的传感用途掀起新的风暴。正因为是全新的视觉传感器，所以在开发中遭遇了不少困难，当然也有新的发现。
Sakai.S
Sony Semiconductor Solutions Corporation
Imaging System Business Division
Nitta.S
Sony Semiconductor Solutions Corporation
System Solution Business Division
Furukawa.M
Sony Semiconductor Solutions Corporation
Imaging System Business Division
Ihara.S
Sony Semiconductor Solutions Corporation
System Solution Business Division
在与风险投资企业的合作中诞生的全新概念的视觉传感器
―― EVS是一款什么样的视觉传感器？
Sakai：人在观察事物时，所关注的并不是所有投射到眼睛中的对象，而是只捕捉有明暗变化等变动的部分。EVS如同人类视神经，是一种只对有辉度变化的像素进行输出的视觉传感器。传统的图像传感器会将捕捉到的所有图像信息全部输出，而EVS只输出有变化的像素，因此可削减数据量，同时实现高速且高效的传感。相比传统的基于帧的图像传感器，EVS有望应用于更加先进的识别技术。另一方面，市场对于这种传感器还比较陌生，人们不了解如何使用它才能获得显著的成果，所以，在包括终端用户的使用方法等许多方面，这款传感器都有着巨大的潜力。
―― 此次，你们与法国的Prophesee公司合作开发了EVS，开始这次合作的契机是什么？
Sakai：我之前所在的部门很早就与Prophesee公司开始了有关EVS的技术交流。原本，他们打算独自进行商品化，但因为追求制造更好的产品，所以开始与本集团的研究部门合作进行原型研发。
当时，我正在负责其他项目的研究开发工作，但是除了研究开发，我还希望挑战商品化，于是找上司商议了这个想法。正好我的这个部门正打算对合作研发的EVS进行商品化，因此，我就调动到了事业部，作为与Prophesee公司合作开发项目的主管参与进来。
被调派的2周后，我就前往巴黎出差，与Prophesee公司就商品化进行规格方面的讨论。用不熟练的英语进行商讨、从原型到商品化的迅速推进，这些都让我倍感压力。
Nitta：本集团积极引进新技术，并不断研究在国内外掌握高新技术的风险企业。当时，Prophesee公司开发的EVS技术引起了我们技术主管的关注，于是通过一场技术交流开启了日后的合作。之后，我们发现EVS有望应用于多个领域，于是以商业化为前提进一步构建了合作关系，开始了以商品化为目标的开发工作。
―― 请介绍一下开发时的理念和执着的要点
Sakai：我们经常思考市场差异化的问题，例如“为什么本集团要制造这款产品”“本集团制造这款产品后会带来怎样的变化”。此次的EVS是一款还未广泛应用于市场的视觉传感器，但是我们一直在思考要让它拥有哪些特性，以区别于Prophesee公司先行制造的EVS。
Nitta：当时有不少公司都公布了关于EVS的技术，也利用样品进行了演示，但是还没有产品投入市场。而本集团的目标是尽早将技术转化为产品，投入市场，从而确立先行优势。
Furukawa：此次的这款传感器是与Prophesee公司合作研发的，对于其内在的功能我们必须进行准确的评价。
另外，尽管传统的基于帧的图像传感器也会因为明暗的变化而做出反应，而此次的EVS的不同之处在于它是 只对有辉度的变化做出反应，因此，为避免商品在送至客户手中后发生问题和故障，我们在开发中对于特性和品质保证的部分尤其重视。
―― 与海外企业合作进行的开发是如何推进的？
Sakai：我们从原型设计之时开始，每周都会进行1～2次的视频会议，并且每月大约2次在巴黎和厚木轮流进行面对面的商讨。双方围绕项目进度以及特性和品质方面的课题，展开讨论。
最初，我们仿照传统图像传感器的开发方式，罗列课题、进行设计，但是实际推进业务后发现了很多之前不曾发现的课题，这个时候就会积极讨论，寻求解决方案。Prophesee公司掌握了关于EVS的丰富知识，与本集团独自积累的量产化及品质保证的方法和技术形成巧妙互补，就这样，开发工作得到顺利推进。
Nitta：EVS是通过将本SSS集团所掌握的CMOS图像传感器技术与Prophesee公司特有的基于事件的传感技术融合而诞生的。此外，Prophesee公司还开发了驱动EVS的应用程序与评价套件。向客户提案单独的EVS产品，客户很难想象其应用的场景，因此，我们对Prophesee公司的应用软件方面的创意抱有很高的期待。按照这样的职责分工，本集团各地区的销售企业与Prophesee公司各地区的业务负责人组建了沟通小组，大家共享开拓客户的信息，联合开展宣传推广活动。必要时，还一起拜访客户、提供方案。另一方面，作为风险企业的Prophesee公司和已经确立了品牌形象的本集团公司存在文化上的差异，双方为达成一致意见经历了种种困难。
Furukawa：评价方法与标准都是在例行会议上决定的，但是因为这项技术基本上是Prophesee公司先行开发的，所以，我们请他们提出想要评价的要点等，而我们则对测定的视角等提出意见。另外，评估环境也由本集团准备。与Prophesee公司稍微不同的是，我们以研发CMOS图像传感器时构建的环境为基础定制了EVS的评估环境。这是因为我们从量产角度出发，发现了如何减少不良的课题。因此，我们借鉴了过去在CMOS图像传感器的研发中积累的技术经验进行调节，从而推进了开发。
最大的难关是挑战开发“前所未有的产品”
―― 请介绍开发中遭遇的难题
Sakai：最大的难题就是规格的确定。EVS的规格难以在传统图像传感器中找到，所以本公司无从参考。因为是市面上几乎找不到的产品，所以，只能找到大学研究文献之类的参考。并且，如果有客户已经使用了EVS，也能听取他们的要求，研究相应规格，但是按照当时EVS的状态，客户难以想象最佳的使用方法，所以，我们是通过让仁田和井原设想各种使用情况来确定规格的。能够自行确定规格，也意味着我们可以通过自主行动来达成目标。尽管改变规格可以提高量产时的成品率，但此次，我们着眼产品整体状况，衡量改变规格会对业务带来的影响，因此一边调整一边确定规格。
Nitta：从业务角度来说，最大的难题是向客户介绍EVS后，一开始大家都对这款独特的传感器产生了浓厚兴趣，觉得很有趣，但是一旦讨论到它的应用，客户往往不知道要如何使用，因此，始终难以进入下一个阶段。这种情况时常发生。在这样的状况下，我们认识到利用Prophesee公司提供的评价套件和应用软件，以解决方案的形式进行宣传推广非常重要。我们也看到了让每一个客户根据自己的使用情况使用这款传感器的重要性。
Ihara：现在导入了EVS的客户以各种不同的方式在使用这款传感器。我们必须根据每一个客户的期待，发挥产品的性能。在开发工作的推进过程中，我们都会仔细确认现在客户考虑在怎样的环境下使用这款传感器、目前存在哪些课题。目前，没有统一的参数调整方法来确定EVS特性，因此，为了接近各种使用情况下所需的性能，我们反复进行实验和调整，通过脚踏实地的作业来追求理想的产品特性。另外，在合作中我们尤为注意的一点就是相信对方，无论什么问题都仔细向其说明，从而构建起牢固的信赖关系。为开展更加有效的讨论，我们也必须获得对方的信赖。最终，无论课题大小，我们双方都能积极表达意见，开展讨论，我认为正是这样的良好关系才促成了此次开发得以顺利推进。
Sakai：在与Prophesee公司成员推进开发的过程中，他们在最后期限之前，一直提出各种创意，以期打造更好的产品。我觉得我们必须学习他们的这种态度，但是另一方面，开发是一项多人参与的工作，所以我们必须考虑其影响范围。我们向Prophesee公司成员说明了工作中的障碍，同时就如何实现他们的创意多次展开讨论。另外，在合作中我尤为注意的一点就是相信他们，无论什么问题都仔细向他们说明，从而构建更加牢固的信赖关系。对Prophesee公司而言，EVS技术就是他们的命脉，所以如果他们摆出不让索尼吸收全部技术的态度，就很难开展良好的讨论。无论课题大小，我们双方都积极表达意见，开展讨论，建立起牢固的合作关系，我认为正是这样的关系助力了此次开发顺利推进。
Furukawa：关于评价，Prophesee公司提供的资料的格式、评价中使用的文件形式与本集团所使用的截然不同。所以，当将获得的材料交给我们的评价小组时，必须把这些材料转换为本集团所用的格式。并且，提供的规格中会包含需要确认的内容，需要对这些规格进行逐条验证，如需修正，就要让他们再进行确认，因此，品质提升这个环节我们花费了很长时间。
另外，关于传感器的评价手法，从光源到计算方法、量产时的评价与拣选，这些都是过去的图像传感器评价不曾涉及的项目，所以我们必须构建针对EVS的全新评价手法。
在进行测试与品质评价时，过去经常与旧元器件进行特性比较，但此次的EVS，还需要实施以往不曾进行的评价，那就是评价元器件对辉度变化的响应特性。因此，我们导入了全新的可调节辉度的光源。而且，因为电路构造不同于传统图像传感器的电路，因此针对如何制定有关响应特性的测定与评价规格，以及为了要在测试环境下获得稳定测试结果，需要怎样的原因调查和改善对策，我与同以酒井为代表的公司内的专家们，多次讨论了测试及评价方法。
Sakai：这是非常困难的，因为没有以前的例子，我们必须首先以与传统图像传感器相同的方式查看测试结果，并判断特性没有变化是好还是坏。
EVS将成为引领神经形态领域发展的视觉传感器
―― 凭借索尼的EVS可提供哪些解决方案？
Sakai：我们的EVS中导入了很多本集团在CMOS图像传感器的开发中研发的元器件、电路设计技术，例如光电二极管、Cu-Cu（铜-铜）连接*1等。我们执着于实现特性的差异化，所以没有这些技术，就没有我们的EVS。
另外，不止是元器件，从后段处理到相机、系统应用场景的全面构建，也提升了EVS的价值。从半导体技术到传感技术，本集团所掌握的技术涉及方方面面，因此，我认为结合本集团公司的技术，将创造最佳元器件。
*1.将像素芯片（上方）与逻辑芯片（下方）堆叠在一起时，通过连接两个Cu（铜）片导通电流的技术。与凭借像素区域外围的贯通电极连接上下芯片的TSV（硅贯通电极）相比，可提高设计自由度和生产效率，还有望实现小型化、高性能化等特性。
Nitta：刚才也提到了，EVS能够捕捉非常高速的物体运动，并以低延迟的方式输出。此外，它还具备广域动态范围，从昏暗环境到明亮环境都能拍摄，而且输出的数据量小。具备这些特征的EVS有望在各个领域大显身手。
其中一个领域是工业机械领域，它们可以用来监控、检查和测量以极高速度移动的设备或产品。
针对这些用途，传统产业用相机难以发挥作用，而使用EVS则有望满足需求。
另外，EVS具有非常广域的动态范围，即使同一个画面中同时存在昏暗环境和日照强烈的明亮环境，也能清晰拍摄人的活动。并且，EVS在拍摄人的活动时，不会呈现面容等细节，只输出人的轮廓，因此，有望作为保护隐私的安防摄像头发挥重要作用。
―― 请介绍未来EVS的可能性
Nitta：除了前面介绍的产业机器领域、安防领域，EVS还有望应用于医疗器械、消费类设备、机器人、游戏周边设备、运动科技等众多领域。除了利用与Prophesee公司合作的效应，我们还将发挥本公司从半导体技术到传感技术等丰富技术储备的优势，为市场提供各种应用方案。
另外，我们作为系统解决方案事业部，在2021年10月发布了名为AITRIOS™*2的边缘AI传感平台。EVS作为与该平台紧密关联的元器件，我们希望利用它打造智能相机，并结合众多开发者的创意，提供更多解决方案，使这项技术在市场中全面推广。
*2 AITRIOS､ AITRIOS和徽标是索尼集团(株) 的商标。
Sakai：EVS的技术起源于视神经的信号模拟。人类大脑中有约1000亿个神经元，它们相互连接构成了一个网络。其中的连接部分被称为突触，而多达约10亿的突触，其机制的运行只需要不到1个灯泡的能量就能驱动。在AI等利用模拟神经元的电子电路构建系统的神经形态系统领域中，EVS扮演的是核心角色。以机器人为代表的产业机器，如果没有传感器作为眼睛进行传感就无法工作。我想EVS将成为第一款用于这些领域的传感器。
当然，过去的机器人上也设置了相机，但是为了方便人们事后确认，它们通常会获取大量冗长的信息。随着自动控制等系统的发展，今后将不再需要人的控制，因此，为了更加迅速地对事物做出判断，我期待能够只输出必要信息的EVS成为主流。
―― 此次，与风险企业的合作有哪些收获？
Sakai：如果是拥有单一核心技术的风险企业，“未被商品化”很可能导致“公司倒闭”。因此，随时随地都能感受到他们对于这项技术商品化并推向市场的认真态度以及主动性、危机感和严肃性。
过去，我在本集团从事研究开发工作，遗憾的是也经历过未能成功商品化的项目，这种时候，我就会思考下一个项目，探索本集团可以做的事。当然，我对于那些项目的态度也是很严肃的，但是看到他们的姿态后，我感觉“下次努力”的这种心态好像有些随意了。这次合作让我受到了很正面的刺激，今后，我要积极思考“现在我还能做些什么”“我是否还能做得更好”。
Nitta：他们带着自己的应用软件和评价套件，积极接触客户，迅速签订NDA（保密协议），并进入与客户共同开展技术讨论的阶段。这种开拓客户的速度感和脚踏实地的工作方式非常值得我学习。
另外，他们在宣传推广时的信息发布能力让我印象深刻。他们的宣传推广活动非常具有视觉吸引力，采用了包括SNS在内的多种信息发布方式，还积极参展各种展会等，包括行动的速度在内，都让人赞叹。
Furukawa：此次，与风险企业的合作反而促进了公司内部的协商与交流，我也结识了许多技术人员和项目成员。
尽管我们在沟通信息等问题上遇到了困难，但我们也能够获得新的发现，以继续我们自己的未来业务，包括我们可以使用哪些信息传输方法来彻底传达我们想要向集团以外的公司传达的信息。
Ihara：Prophesee公司是基于事件的信息处理领域的先行者，他们提供的软件和文档反映了他们在这方面的知识与经验。这些软件的更新速度很快，他们总是能在发现当前所需的功能后迅速进行更新，包括文档在内，都能很快实现完善和改进。这种开发的速度和不断完善的姿态非常值得我们学习。
―― 请介绍未来要挑战的目标
Sakai：我希望继续推进这个项目，直至此次的产品IMX636完成量产和出货。
未来，我希望像此次的EVS研发一样，全力参与从研究开发到商品化的项目，也希望本集团公司的其他成员也能体验相同的经历，所以，我希望建立鼓励大家积极挑战新事物的机制，也愿意为此贡献自己的一份力量。
Nitta：我希望全力推动EVS在市场中的普及。
EVS具有高速、高动态范围、低功耗的特征。通过充分发挥这些特点，我希望能够为创建一个重视环境的社会和基础设施做出贡献，例如减少二氧化碳排放量，我相信EVS有这样的潜力。
Furukawa：首先，我认为必须推动EVS的量产化。
在此基础上，我希望参与像此次的EVS那样，参与还未在社会上普及的新技术的开发，为这些产品在世界范围内的普及做出贡献。
Ihara：除了制造、检测行业，我还希望将EVS的应用范围拓展到现在基于帧的图像传感器所应用的各个领域。如果我们能够被客户选中，我希望能够为他们提供包括使用EVS 在内的最佳图像传感器的解决方案。
