智能视觉传感器(AI传感器)
技术
边缘AI&感知

智能视觉传感器(AI传感器)

  • 首页
  • 技术
  • 边缘AI&感知
  • 智能视觉传感器(AI传感器)

概述

智能视觉传感器是可单独进行图像处理、高速边缘AI处理的图像传感器,具有划时代意义。把AI引擎与专用数据存储器组成的逻辑芯片和像素芯片,利用索尼半导体解决方案公司(下称SSS)的堆栈技术,成功实现在微小的传感器中集成AI处理功能。

与传统的将图像数据传送到云端进行AI处理的系统相比,利用这项技术,可减少数据传输量,并且,减轻了对隐私安全的顾虑,也减少了耗电量和通信成本。

技术说明

世界首创*1搭载AI处理功能的图像传感器

SSS在像素芯片层上配置了约1230万有效像素的背照式传感器,能够在广阔的视野范围内捕捉信息。逻辑芯片上,除了一般的图像传感器信号处理电路,还搭载了针对AI进行信号处理的SSS独创的DSP(Digital Signal Processor)和可载入AI模型的存储器。由此,无需高性能处理器和外部存储器,就能创建边缘AI系统。

*1) 图像传感器领域。索尼调查结果(截至2020年5月14日发布宣传时)

世界首创搭载AI处理功能的图像传感器

可输出元数据

在利用逻辑芯片处理从像素芯片中获取的信号的过程中,通过ISP(Image Signal Processor)处理和AI处理,能够实现只输出处理对象的结果元数据,从而削减后端需要处理的数据量。
另外,由于可以选择不输出图像信息,因此可降低安全风险,更好地保护隐私安全。用户还可以根据自身需求和用途,选择输出数据的格式,除了一般的图像传感器拍摄图像,还可以选择ISP处理后的格式的图像(YUV/RGB)以及仅裁剪出特定区域的ROI(Region of Interest)图像等。

可输出元数据

可选择需要的输出数据格式

实现高速AI处理

用一般的图像传感器拍摄视频时,需要将输出的每一帧图像都与AI处理关联起来,因此,发送的数据庞大,难以确保实时性。而本产品可使用传感器内逻辑芯片进行ISP处理和高速AI处理(MobileNet V1*2时的处理时间为3.1毫秒),因此可在1帧视频内完成处理。由此,可在拍摄视频时,实时、高精度地追踪对象物。

*2) 用于移动设备的物体识别类图像解析AI模型的名称

实现高速AI处理

用于收银台实时追踪商品和作业的用例

可选择AI模型

用户可将任意AI模型写入存储器,并根据使用环境和条件进行更改和升级。例如,在店内不同地方设置了数台使用本产品的摄像头时,只需一款摄像头,根据设置位置、状况、时间等选择不同AI模型,即可满足不同目的和用途的需求。设置在入口可统计到店顾客人数,设置在货架上可检测商品是否缺货,设在天花板上可检测到店顾客的热图(检测人群聚集的场所)等,满足多种用途的需求。更进一步,还可以将过去用于检测热图的AI模型灵活更换为检测消费者行动的AI模型。

可选择AI模型

店内摄像头的应用案例

相关产品和解决方案

联系我们

有关索尼半导体解决方案集团以及产品、服务的咨询和规格、报价/采购等请求,请点击下方按钮填写专用表格与我们联系。