「SEMICON Japan 2023」講演レポート
～「感動」に貢献するイメージング＆センシングテクノロジー

テクノロジーの力で、クリエイターに最も選ばれるブランドへ

ソニーはグループ全体で、感動を創り、届けることを中心に事業を展開しています。感動する主体は人ですが、感動を創るのも人です。よって私たちは、感動コンテンツを創るクリエイターを支援し、世界で最もクリエイターに選ばれるブランドでありたいと考えています。そして、クリエイターに選ばれるために重要なのが、クリエイティビティを発揮させるための、テクノロジーの開発です。

2Dとさまざまな次元情報を組み合わせ、クリエイターのコンテンツクリエーションに貢献する

まず、ベースとなる2DのImagingですが、これは従来のRGBのImaging技術とも言えます。イメージセンサーは、人間にとって美しい映像を提供するべく「人間の眼を超える」ことをキーワードに、技術進化を重ねてきました。特に静止画については、今では人間の眼を超えている部分もあると思います。

映像の進化を支えるテクノロジーの一つが、グローバルシャッター技術です。2023年11月にソニー株式会社が発表した『α9Ⅲ』は、世界初^*1グローバルシャッター方式のフルサイズイメージセンサーを搭載したレンズ交換式のミラーレス一眼カメラです。このセンサーを開発したのが、我々SSSです。全画素を同時露光して読み出すというグローバルシャッターの特長により、動きの速い被写体でも歪みなく、「瞬間を切り取る」撮影が可能となりました。このような新たな技術により、クリエイターの表現の可能性が広がります。

*1) レンズ交換式デジタルカメラとして。2023年11月製品発表時点。ソニー調べ

さらに2Dの究極はフォトンカウントイメージングです。SPADは、1つの光子から、雪崩のように電子を増幅させる「アバランシェ増倍」を利用する画素構造で、弱い光でも検出することができるセンサーです。これをイメージングに活用すると、非常に暗い場所でも低ノイズでHDRを実現するなど、今までにないイメージング体験が可能になると期待しています。まず静止画をターゲットに技術開発を進めています。

2DのRGBイメージングに付加する別次元の情報の価値も紹介します。 まずは5D、さまざまなスペクトルとの組み合わせです。こちらは、非可視光である短波長赤外光（以下、SWIR）とRGBを組み合わせた画像です。SWIRは靄（もや）や霧（きり）など悪天候でも遠くを見通すことができるのが特長です。このように、実際のシーンの空気感までを自由に再現することで、 RGB単独では難しい、今までにないクリエーションが可能になるかもしれません。

別の情報として、光の方向を表す偏光情報との組み合わせも考えられます。こちら（下記動画）はケーキをキャプチャしてCGとして再構成したものです。ご覧のように偏光情報を取得して活用すると、CGとは思えないような、リアルな質感やマテリアルの表現が可能になります。

また、昨今のクリエーションやコミュニケーションの手法として、ますます動画が一般的になっています。そして技術的にも動画性能の進化は伸びしろが大きい領域と考えています。RGBと4Dのイベントベースビジョンセンサー（以下、EVS）を組み合わせることで、EVSのイベントデータを用いてRGBフレームを補完し、動きの速い動体でも高速・低消費電力な動画撮影が可能になります。我々はRGBとEVSの画素を混載し、1チップで開発することに成功しました。

そもそもEVSとは、従来のRGBのフレームベースセンサーに対し、被写体の変化を「座標」および「時間」の情報と組み合わせて出力するセンサーです。こちらの動画では、左側のRGBに対して、右側のEVS映像は、動いている被写体の変化のみを抽出していることを表しています。

では、このEVSをRGBと組み合わせるとどうなるか、こちらの動画をご覧ください。RGBのフレーム間のデータをEVSのイベントデータで補完することで、4Kのような高精細でも、毎秒120フレームでブレのない非常に滑らかな動画撮影が可能になります。この技術が身近なモバイル端末で気軽に使えるようになれば、世界中のクリエイターの映像表現はさらに広がると期待しています。

RGBイメージングと3D、すなわち深さ情報の組み合わせも考えられます。こちらも実際の空間をキャプチャして三次元のCGとして再構成したものです。左側の映像のとおり、RGBだけだと、深さ情報が正確に取得できないために、映像の一部が崩れてしまっています。一方RGBと組み合わせると、より高精度な表現が可能になっていることがわかります。

ここまでご紹介しましたように、2Dとさまざまな次元の情報を組み合わせることで、コンテンツクリエーションの幅を広げ、クリエイターによる感動の創造に貢献できると考えています。

モビリティの未来を支えるテクノロジーで、社会の安心・安全に貢献する

自動運転の進化は車業界を取り巻く大きなテーマです。その実現のためには、車体の外の環境を正確に認識できるイメージセンサーが期待されています。自動運転では、より遠くの対象物でも正確に認識し、車の制御に繋げる必要があります。我々が今年商品化を発表したIMX735は業界最多^※２の1,742万画素を誇り、長距離のフロントセンシングへの活用を想定しています。
※２車載カメラ用のCMOSイメージセンサーとして。2023年9月12日広報発表時点。ソニー調べ

IMX735の長距離の認識性能をご覧ください。こちら（下記）は高速道路で撮影した映像ですが、右側にある従来のセンサーに比べて、IMX735は100m以上先の標識も解像度高く認識できていることが見て取れます。

もう一つの取り組みはSensor Fusionです。 ソニーの技術の特長はEarly Fusion。信号処理前のRAWデータの状態で取り出し、最適な特徴量を抽出・融合することで、物体の認識精度を向上させるというコンセプトです。フロントセンシングとしては、こちら（下記）の右上にあるような視界の悪いシーンでも認識性能を高めることができます。 一方で、実用化に近いのはサラウンドセンシングです。

サラウンドセンシングとして活用が期待されるのは駐車支援ソリューションです。我々は、車外環境を高精度に認識し、その認識結果をもとに自動で地図を生成することで、スムーズな駐車支援を実現するソフトウェア開発に取り組んでいます。ハードウェアとソフトウェアを組み合わせて、新しい価値を提供できると考えています。こちらも動画でご覧ください。

地球上のあらゆる場所をセンシングする技術で、サステナビリティに貢献する

我々のセンシング技術は、環境貢献にも大いに活用できると考えています。それがソニーの「地球みまもりプラットフォーム」です。地球上のあらゆる場所をセンシングし、環境問題、災害などの異変の予兆を察知することで、問題の発生を未然に防ぐ仕組みを構築しようと取り組んでいます。

このプラットフォームを構成するテクノロジーは3つです。さまざまな変化を捉える多様なセンシングデバイス群、その変化を広域に伝えるLPWAのネットワーク、そしてその変化を理解し、具体的な行動に移すための分析やシミュレーション技術です。ソニーグループ全体で保有している技術を組み合わせることで、現在さまざまなパートナーと共に実証実験を行っています。地球環境のサステナビリティに貢献すべく、取り組みを加速していきます。

また、マルチスペクトルと呼ばれる、RGBより高い解像度でさまざまな波長を認識することができる技術があります。SSSのマルチスペクトルセンサーIMX454は、専用のソフトウェアと組みあわせることで、ワンショットでさまざまな波長の情報を取得し、さらにその情報をもとにエッジ側で対象物をセグメンテーションすることができます。

この技術は農業分野での活用が期待できます。ここでは、マルチスペクトルを使って植物固有の波長パターンを捉えている様子を紹介します。こちらの映像は、本物の植物だけをセンシングし、ピンク色で示しています。手に持っているのは造花ですので、同じ緑色でも反応していません。

マルチスペクトルは、ソフトウェアのさらなる進化により、植物の生体情報を非破壊でリアルタイムにモニタリングできるようになると考えています。ご覧の動画は、2つの植物の鉢に同時に水を与えたあとのストレス反応を表しています。上の植物は直前まで水を与えておらず土が乾いていたので、最初はストレスの高い赤色ですが、その後水を吸収するにつれストレスが低いことを意味する青色に変わってく様子が見て取れます。左のRGBの映像ではなにもわからないですが、マルチスペクトルだと変化しているのがわかると思います。これはまだ研究開発段階の技術ですが、将来これが大規模展開できるようになれば、農作物の成長過程を科学的かつリアルタイムに観察でき、農業の生産性向上につなげることができると期待しています。

感動空間を拡張するテクノロジーで、まだ見ぬ体験を提供する

VRやARは、人々に今までにない体験を提供し、感動空間を拡張するテクノロジーとして期待しています。こちらは、ヘッドマウントディスプレイやARグラスで考えられているアプリケーションと、それを実現できる可能性のあるデバイスを記載しています。将来に向けたポテンシャルの大きい領域と考えています。

今回は実際に4KのOLEDマイクロディスプレイで見るVRの映像をご覧いただきます。左目用と右目用に映像がわかれていますが、映像自体に違いがあるわけではありません。微妙な視差がついていて、実際のVR用のヘッドマウントディスプレイで見ると、より立体的に表現されるという仕組みになり、非常にリアルな映像を体験できます。

いかがでしたでしょうか。クリエイターの支援、社会の安心・安全、持続可能な地球環境、そして感動空間の拡張。これら「感動を構成するバリューチェーン」のそれぞれの領域で、我々が持っているテクノロジーを通じて貢献できると考えています。その起点にあるのは、我々のPurposeのキーワードである「感動」を、世界中に届け続けたいという想いです。我々は、感動を追い求めることで、事業を成長させていきます。

イメージセンサーを含め、半導体市場は2030年には1兆ドルになると期待される成長産業です。
SSSは、今後ともイメージング＆センシングテクノロジーのリーディングカンパニーとして、市場の成長を牽引し、半導体産業の発展に貢献していきたいと思います。