世界首款搭载AI引擎的图像传感器！创造新生事物的原动力是什么？
October 11, 2022
随着AI技术的确立，我们身边的许多场景中都能看到AI活跃的身影。
在这些场景中，以美国的风险企业为代表，许多人都设想过用AI处理拍摄的图像，但是这种用途的商品化却面临了巨大的壁垒。这就是AI引擎搭载在哪里的问题。
然而，当我们在 2016 年开始规划智能视觉传感器的概念时，许多企业一直在考虑将 AI 用于图像识别的一些应用，但他们在商业化方面面临着巨大的挑战。即，AI处理在哪里放置的问题。
很多人曾考虑将其设置在云端，但是把所有拍摄的图像都上传至云端进行AI处理，从数据量和耗电量的角度来说是不现实的。
于是，索尼半导体解决方案株式会社（下称SSS）的浴良仁想到了将AI引擎安装到图像传感器中的方案。他在2021年的ISSCC（International Solid-State Circuits Conference）*1上发表论文称AI是处理效率最高的引擎（小巧、迅速、省电），并实现了世界首款搭载AI处理功能的智能视觉传感器IMX500的产品化。此次，我们向他了解了这款传感器的开发故事和创造新生事物的秘诀。
*1) 介绍半导体行业最先进技术的国际学会
Eki Ryoji
Sony Semiconductor Solutions Corporation
System Solution Business Division
2008年从广岛大学研究生院毕业，入职索尼株式会社半导体事业本部（现在的SSS）。
入职以来一直从事CMOS图像传感器的开发。特别是在面向移动设备的CMOS图像传感器方面，在从事背照式、堆栈式CMOS图像传感器的商品化后，从2016年开始从事智能视觉传感器的商品策划、商品化和业务开拓。论文得到国际学会ISSCC2021采纳，入选Sony Outstanding Engineer2020。现在从事SSS的Edge AI Platform “AITRIOS™”的AI Model的开发、AI学习环境的构建以及新一代智能视觉传感器的策划。
在美国培训时感受到AI与图像识别结合的巨大可能性
智能视觉传感器是在堆栈式CMOS图像传感器的逻辑电路部搭载AI引擎，由AI立即对拍摄的图像进行图像处理，从而仅将必要信息存储在云端的图像传感器。
为什么需要只存储必要信息的传感器呢？这是因为在对DX化的要求日渐高涨的今天，如何利用数字技术提升现场模拟作业效率的“DX”越来越受到重视。而图像传感器的关键在于如何处理拍摄的图像，从而高效地转换成信息。如果直接传输拍摄的图像，就会产生图像确认等模拟作业，而利用AI进行识别，找到所拍摄图像中“人所在位置”、“空白空间”等信息，则只需要发送“通过的人数”“空白空间数”等人们需要的信息，就能使信息接收方立即使用这些信息。转换成需要的信息后再发送还有其他优点，例如减轻数据量、节省耗电量、提高传输速度以及避免保留无用图像从而保护隐私等。在意大利的罗马市，已经进行了基础实验*2，这项技术被用于监测停车场，把握停车位闲置状况，告知空车信息。另外，确认房间内有没有人、无人时自动关闭空调等使用方法也在讨论中。
*2) 相关链接：公开了使用智能视觉传感器IMX500的意大利罗马市智慧城市试点项目的视频
浴从2016年夏天开始开发智能视觉传感器。那个时候，正好“图像识别AI已经超越人眼”的话题热火朝天，从2016年春季开始，参加为期3个月的美国销售公司培训就成了他开始研发的契机。之前就参与图像传感器开发的浴认为倾听客户声音、开发更加符合客户要求的产品是研发工作的下一步，因此参加了培训。在美国，大大小小的企业都会举办会议和展示会，其中不乏利用AI进行图像处理的技术展示。在接触这些展示，并与SSS的美国客户频繁交流后，浴感受到了将图像识别与AI结合的可能性。但是，当时展出的都是在高价GPU上进行AI处理，如果商品化，单件商品的价格将达到数十万日元，而且还存在耗电量和数据量庞大的瓶颈问题。他在认识到这些课题并与各方人士交流后，便想到“将AI加入到传感器中，或许就能实现小型化并降低成本，打造出一款畅销的产品”。
抱着对进化中的AI和数年后的产品的畅想开始开发
SSS图像传感器的优势在于除了可见光，还能捕捉非可见光、距离、动作。凭借这一优势去竞争，或许能对抗世界级的科技公司，感受到AI与图像识别的巨大可能性的浴独自一人建立了项目，根据在美国获得的客户意见，邀请擅长策划的人协助确定产品形象，从一个小团队开始了开发工作。在开发时，他想到“识别人和物体是AI的专长，如果能提供发挥这一功能的使用方法，就能创造出一款优秀的产品”，于是便踏上了彻底追求低功耗、小型、高速处理的产品开发之路。
开发遭遇了两道壁垒。其一是AI引擎的开发。在测试了现有的引擎后，浴发现完全无法达到设想的规格，突然之间，目标就实现无望了。但是他并没有放弃，而是为了收集AI引擎相关的信息，奔走于公司内外。然后，大量信息汇总到了他的面前。对于尝试新事物的人，身边的人会给予帮助，这就是SSS的企业文化。当浴为了AI引擎烦恼、到处咨询时，自然而然地就会有人向他介绍了解解决对策的人。然后，他终于遇到了Sony Semiconductor Israel（SSI）的团队。实际上，当时SSI的成员也在考虑建立一个AI的项目，因此，两者的相遇恰逢其时。
另一道壁垒是对产品提供价值的设想。AI技术日新月异，想要预测产品化数年后的情况、确定产品形象非常困难，我们很难知道未来“这款产品会是怎样的结构”、“电气信号会变成什么样”以及“能获得哪些好处”。浴根据在美国与相熟企业交流的未来愿景，首先，设定了传感器应达到的规格，并设想了AI以超出预期的速度进化的情况，以此为前提进行产品开发。
排除万难，以“坚持到底”的精神完成开发
学生时代的浴热爱手球运动，中学时凭借不俗的实力在县选拔中被选中。在高中时还入选了全县最佳前四人阵容。上大学后浴一改之前的兴趣爱好，因为“想要尝试单板滑雪”就去滑雪场打工等，他就是这样一个愿意为自己想要做的事积极行动的人。这种积极的性格也表现在克服自己弱项的方法上，意识到自己不擅长英语的浴，在美国销售公司培训期间，每逢休息日就会独自一人去高尔夫球场。他认为“与当地人对话是最好的学习方法”，通过在高尔夫球场创造不得不与聚会组织人用英语对话的局面，掌握了非常自然流畅的英语。
凭借这种与生俱来的积极心态，浴在自己的职业道路上稳步前进，但却在智能视觉传感器的开发中遭遇了巨大挫折。那次挫折是在临近量产时失去了第一位客户。实际上，第一位客户的条件是只要其他技术革新继续发展，即使没有智能视觉传感器也能实现的。浴带着一丝不安推动着项目，但是这份不安变为了现实。因为开发的目标就是向那位客户交付产品，所以当时他甚至觉得“智能视觉传感器的开发就到此为止了”。而浴现在的上司为当时一蹶不振的他提供了重新振作的力量。上司对浴说：“好不容易开始的开发，不能半途而废”、“为什么卖不出去、为什么能卖出去，如果不理解背后的原因、反映到下一次的开发中，那么这个开发工作就只是你的一次自我满足”。听了上司的建议后，浴的心中燃起了“无论如何要完成开发”的决心，于是就有了智能视觉传感器的诞生。反省过后，浴开始思考“什么样的技术才会被客户使用”这个问题。
口号是“任何人都能使用”，困难时“与人交流”
浴从入职之初就希望参与研发世界第一的商品、世界首创的技术，非常幸运地从事了世界首款移动设备用背照式CMOS图像传感器与堆栈式CMOS图像传感器的开发。通过这两款产品的开发，他积累了包括量产化在内的丰富业务经验，加深了图像传感器的了解。凭借这在这段经历中获取的知识，他在美国培训时赢得了客户的信赖，了解了各企业所考虑的未来事业的方向性，最终促成了智能视觉传感器项目。如上所述，为新事物积极行动，积极借用人际关系，正是浴的一项特长。浴还与通过过去的商品开发和智能视觉传感器的开发而熟知的各部门、集团内的人员交换信息。了解各领域开发团队掌握的最新信息，对于探索未来产品开发的方向性非常重要。并且，浴还通过将客户声音反馈给开发团队，探索目前开发中的技术能提供怎样的解决方案。智能视觉传感器是识别图像的传感器，但客户本来所追求的是“减轻员工负担”等处在图像识别延长线上的“状态”。想要以最终服务的形式提供给客户，必须填补中间的沟壑，必须提供任何人都能理解的解决方案，例如“通过统计人数，就能向员工提供这些信息、减轻他们的负担”等。浴表示“为推进DX而烦恼的人，最主要的问题就是不知道如何使用数字技术。今后，为了推进DX，我们必须开发能够一键使用的填补沟壑的设备”。他以“任何人都能使用”为口号，准备了便于构建DX环境的设备与服务，力争提供依靠智能视觉传感器才能实现的解决方案。
在问及工作中重视什么时，他的回答是“看到自己参与研发的商品得到世人使用和喜爱的样子”以及“可以告诉别人是自己研发了那款商品”。这个想法从入职开始从未改变，因此，在意识到“自己被允许做想要做的事情”的时候，他带着“无论如何都要达成目标”、“为世界做出贡献、留下自己的脚印”的坚定信念，投入到工作中。另外，他还会给部下自由决断的权利，引导他们向着自己确定的目标，规划属于自己的道路。“当部下不知道如何前进时，我会向他们提出建议，如果是自己无法回答的领域，会介绍对此有了解的人，希望他们能利用公司的网络、外部人士的知识思考前进方向”，浴把自己开发智能视觉传感器时，从“得到公司内部人员的帮助”“思考失败原因和前进方法”的经历中学到的东西，渗透到了自己团队中。虽然这支队伍还很年轻，但是创造众多世界首创产品与技术的SSS的文化正在这里生根发芽。
