INDUSTRIAL

边缘AI传感平台

加快AI与IoT的应用!
打造所有人都能使用边缘AI的世界。

June 8,2023

IoT(Internet of Things)就是各种设备都连接到互联网的意思,因为这项技术,我们的生活变得越来越便利,但同时,数据量的增加也成为一个问题。一次性将来自数千、数万设备的数据上传至云端进行处理,会让通信和计算超负荷,因此,之前一直无法对图像、影像等大容量数据进行处理。
而改变这一常识的正是索尼半导体解决方案公司(下称SSS)的边缘AI传感平台“AITRIOS™”*。AITRIOS支持在设备内处理必要的图像与影像信息,并从云端对其进行管理,从而能大幅削减数据量,实现了在云端对大规模Vision数据的应用。
此次,我们请在美国索尼半导体解决方案负责AITRIOS业务发展的渡边翔太介绍了在美国这个IT技术强国所诞生的解决方案以及他希望通过AITRIOS实现的梦想。

Watanabe Shota

Sony Semiconductor Solutions America

2007年 作为应届毕业生入职 在半导体事业部从事游戏机用SoC的开发,主要负责总线、内存控制器等的电路设计。2013年,调动至图像传感器事业部,负责HDR合成等画质改善电路、电子防抖等新功能的电路设计与导入,2016年,以带认证功能的传感器开发PJ为契机,拓展了业务内容,开始从事BD系业务。之后,一直从事客户开发与需求挖掘业务,负责传感器与后段SW、云端联动的Sensing用系统/业务模型的开发。2021年2月前往美国WA州,开始在海外工作。主要负责强化与MS的合作关系,主管AITRIOS的BizDev。

处理不断增加的数据,关键在于只提取有价值信息的边缘AI

── 企业在应用IoT与AI时面临着哪些课题?

听到IoT这个词,大家会想到的是收集、分析接入互联网的各种终端上所附带的传感器的数值,然后集中管理。如果处理的数据只是单纯的传感器的数值(温度、气温等),就不会有什么问题,但是如果其中包含图像这种要素,系统就会一下变得复杂起来。

图像与影像数据是由数百万像素分别捕捉的“光的强弱”信息排列而成的,因此,作为数据,它的量很大,必要的处理量也会随之增加。如果将这些庞大的数据直接通过互联网上传至云端进行分析,那么,无论是发送方还是接收方,成本都会显著增加。

例如,如果要将安防摄像头和IP摄像头连接到服务器上,用AI进行大规模处理,那么就必须处理从数百万摄像头流出的影像,这样的计算处理将产生巨大成本。

另一方面,IoT设备是通过连接数万、数十万的传感器进行分析,来提升管理和运用的效率的,但实际上,由于图像和影像数据过于庞大,这些小型IoT设备并不能进行处理。

我们认为,今后,随着IoT处理包括图像在内的更加多元化的信息,并在社会中进一步深入普及,在这两种设备未普及的领域,我们需要一种能够处理复杂信息,同时像IoT传感器那样大规模使用的解决方案。

而“边缘AI”就能在其中发挥重要作用。它可以从庞大的图像数据中,“只”抽取必要信息并上传至云端,从而将数据量削减至数千~数百万分之一,因此,有望实现系统的高效普及。

参考图片 拡大 拡大

── 请介绍一下边缘AI传感平台“AITRIOS”的特点。

我们对传感器特性与画质调节了如指掌。过去,图像传感器的设计主要是为了“呈现美丽图像”,但为了用于边缘AI,我们把“让针对不同目的的AI能做出更准确的判断”放在优先于“美丽图像”的位置上。

例如,在逆光场景中,通常普通相机进行控制的目的是为了避免透过窗户看到的室外天空和室内桌子上摆放的物件过度曝光和发黑模糊,而对旨在检测会议室内人数的AI而言,无需在意窗外的状况,以准确把握室内情况为焦点进行优化,才能得到令人满意的结果。AITRIOS的目标是成为让所有人都能使用我们研发的图像传感器技术经验的平台。

AITRIOS还有另一个显著特点,就是考虑隐私。
它在传感器端只对必要信息进行处理,然后上传至云端,例如,系统可以设计只上传“人数”等抽象信息,对“图像”数据中包含的面容、性别、服装等信息完全不进行输出,因此,可以设计更加灵活地考虑隐私的机制。

物流、智慧城市,AITRIOS的应用案例不断扩大

── 请介绍一下实际的应用事例。

在物流业客户的事例中,我们在基于现场数据的虚拟空间(数字孪生)中,以实现经营资源的最佳管理和业务运营的改善为目标,与客户共同开发解决方案。

在物流行业,将大量货物转移到临时保管场所的作业需要耗费大量劳力与时间,因此成为难题。于是,为高效配置运输到仓库中的货物,我们用将AI融入传感器的智能视觉传感器IMX500检测纸板箱,把握货架的填充率与闲置空间。通过向员工指示货物的收纳场所和通往货架的导线,缩短了员工的劳力与时间。

此外,旨在解决罗马市交通堵塞等社会课题的智慧城市实证实验中也应用了AITRIOS,在美国,我们还在与一些客户进行相关业务的讨论。

如果要对街道进行监控,就需要在几万台信号灯上设置摄像头,然后将影像上传至云端进行管理。此时,为了实时监控交通量、是否存在可能导致交通事故的危险状态,必须在摄像头端进行一定处理,否则云端的处理会出现延迟。
而现在,我们可以提供一种突破性的解决方案,它将通过边缘AI处理,让众多摄像头实现优化,发挥通过AITRIOS连接的智能视觉传感器的优点。

参考图片 拡大 拡大

── 这套解决方案是SSS提案的吗?

最初的推动力可能来自我们,也可能来自客户,两种情况都存在,但有趣的是,很多时候,新想法是通过与客户的讨论而产生的。

例如,当我们介绍了监测会议室人数、在无人时控制空调等使用方法后,客户又会就新想法提出咨询。然后,我们与客户共同开发最适合这种使用方法的系统。

AITRIOS是一项突破性的技术,我们相信,以开放的姿态与客户、合作伙伴共同创造,一定能开创出各种解决方案。

── 在开发AITRIOS时经历了哪些困难?

从我的立场来说,主要是商业上的困难。
首先最大的困难的就是AITRIOS的可能性过于广泛了。它不是现有类型的新商品,因此,我们必须根据客户的期待和课题,从各种角度宣传AITRIOS的优点,同时,采取多层面的策略。
它不能简单地用一句“使用影像的AI解决方案”来介绍,而是像IoT传感器那样,将大量摄像头连接到云端,与客户的想法和潜在课题关联,激发出具有互动性的交流,然后,从中诞生真正的“解决方案”。
我们认为,人与人的互动对于创造繁荣社会非常重要。在遇到我们的技术后,客户的课题有望得到解决,当我们的技术与客户技术结合,还能挑战更具难度的课题,而在推进讨论的过程中,客户也能发现之前未曾发现的更重大的课题。

AITRIOS是基于互联网的平台,我们相信它还可以在这方面发挥作为合作伙伴匹配系统的积极作用。

通过挑战难题实现自我成长

── 请介绍一下赴美工作的经过。

学生时代,我一直打羽毛球,我认为提升自己水平最好的方法是和那些“比自己稍微技高一筹”的对手打球,而不是与那些赢得大赛的超级高手比赛。

在进入公司、开始工作以后,我仍然坚持这一想法,一直尝试挑战比自己能力高一级的工作。所以,我的很多业务都是去挑战新课题或者尚未有解决方法的问题,例如新功能的初次引进,AITRIOS之前的与云系统的联动项目等。

我和现在的事业部长当时共同参与了其中的一个项目,我去美国赴任就是他提议的。当时,项目还处在摸索阶段,AITRIOS这个名字也没有确定,但或许是我大胆挑战新领域的态度得到了肯定。我想要回应大家的期待,而且也觉得这是实现自我成长的绝佳机会,于是,就决定赴美工作。

── 请介绍一下来到西雅图后最难忘的经历。

到任后的第一个周末,我去了附近的塔科马海峡吊桥。这座桥于1940年竣工,曾一度坍塌,原因是当时还未被人知的自激振动现象。
工程师们在查明原因后,重新设计,建成了现在的这座大桥,并且,此后,世界各地建造的桥梁都采取了相应的对策。
从乍一看失败的案例中学习经验,进行必要修正,就可以为全世界做出巨大贡献,我亲眼见证了这样的事例,也让我振奋精神,去面对即将到来的难题。

── 您希望通过AITRIOS实现哪些梦想?

我们有一个强烈的愿望,那就是让从儿童到老年人的全社会成员享受到边缘AI带来的便利性,就像现在每个人都能享受智能手机拍照的乐趣那样,从而为建设繁荣社会和更加便捷的社会做贡献,这也是我们开发AITRIOS的动机。我们将效仿这座桥梁的工程师,排除万难,坚持不懈。

AITRIOS是突破性的系统与商品。作为未来AITRIOS在美国市场渗透的原动力,渡边先生的挑战精神与支持最新技术的调查力和应用力令人拭目以待。

*) AITRIOS和AITRIOS标识是索尼集团公司或其附属公司的注册商标或商标。