INDUSTRIAL

イメージセンサー

人の眼では認識できないものを認識できるようにする「偏光イメージセンサー」が
産業、ITSのみならず、医療やセキュリティなど多種多様な分野の可能性を広げる

2021.05.28

イメージングと聞くと、ついつい目の前のものを撮像することをイメージしがちだが、ソニーセミコンダクタソリューションズグループ(以下、SSSグループ)は眼に見えないものの撮像にも挑んでいる。 「偏光イメージセンサー」は、人の眼では認識できないが、光の振動方向である「偏光」を捉えることで、従来の手法では難しかった物の形状認識や、反射除去、歪みや傷の検知を容易にするセンサー。これまでほとんど活用されてこなかった「偏光」領域へ足を踏み入れ、世界初*1 の半導体プロセスにおける偏光子の形成を実現し量産化へ漕ぎつけるまでには、開発のビッグアイデアだけでなく、チーム全体のたゆまぬ努力の積み重ねがありました。今後の産業界、Intelligent Transport Systems (以下、ITS)業界、そして医療や研究分野にまで影響を及ぼすと考えられている「偏光イメージセンサー」の開発ストーリーから、偏光がもたらす未来の可能性を探ります。

*1:2021年5月ソニー調べ。

大沢 真人

ソニーセミコンダクタソリューションズ(株)
イメージングシステム事業部

加藤 舞子

ソニーセミコンダクタソリューションズ(株)
イメージングシステム事業部

山岸 一朗

ソニーLSIデザイン(株)
システムソリューション技術部門

山崎 知洋

ソニーセミコンダクタソリューションズ(株)
第1研究部門

人が認識できない光の要素「偏光」を捉えることで産業分野における検知精度の大幅な向上に貢献

―― 偏光、偏光イメージセンサーとはどのようなモノなのでしょうか

山岸:光には波の性質があります。波の振幅(明るさ)、波長(色)、波の進行方向、波の振動方向(偏光)の要素があります。
簡単に言うと、光の明るさや色、そして進行方向の一部を人間は認識することができるのですが、偏光は、光の振動方向の偏りを示すもので、人の眼では捉えることのできない光の現象です。
この光の振動方向を捉える偏光イメージセンサーを用いることで、物体に光が当たったときの振動方向の変化を検知して、例えば、物体の形状を認識したり、邪魔な反射光を取り除いて水面やガラスに映り込む光を除去して向こう側を見たりすることができます。

明るさ - 振幅

色 - 波長

偏光(非可視) - 振動方向

―― この偏光イメージセンサーはどのような用途で利用されているのでしょうか

加藤:主に産業界やITS業界で評価・導入が始まっています。これまでは産業界の一部の領域、例えばガラスや透明なプラスチックの歪み検査、金属製品の外観検査、顕微鏡などで偏光が利用されていましたが、ソニーの4偏光イメージセンサーの登場により、今まで活用されていなかった用途にも徐々に広がり始めています。例えば産業界では今まで目視で確認しており見逃しの課題があった黒色物体の検査を自動化したり、偏光フィルターを回転させて不具合箇所をポイントごとに探さないといけなかった検査をワンショットで実現したりしています。ITS業界では車のウインドウの反射除去用途で注目されています。
他にも、車載、医療、研究、モバイル、セキュリティなど多様な業界、さまざまな用途で興味をお持ちいただいており、検討が進んでいます。

―― これまでのイメージセンサー、偏光フィルターが抱えていた課題とはどのようなものでしょうか

加藤:産業センシング用途で求められるのは、人間の眼で見て美しいと感じる映像ではなく、製品の出来不出来や、ゴミや傷などの異物の有無、物体の識別など、OK/NGあるいは何mmなどの定量的な情報です。
センシングでは、コントラストを利用します。従来のイメージセンサーでは明るさと色のコントラストを見ていました。偏光イメージセンサーは、明るさと色に加え偏光のコントラストも利用できるようになり、より精緻な検知が可能になります。
偏光情報を偏光フィルターで得ようとすると、物体もしくは偏光フィルターを回転させて複数回撮影する必要があります。メカ的にフィルターを回転させる機構と時間が必要なので、工場の生産ラインなどでの検査で偏光を活用するのは困難でした。ソニーの偏光センサーには、4つの方向の偏光子が搭載されているのでワンショットで複数の偏光画像を取得でき、リアルタイム*2 に偏光情報を取得できるようになりました。

*2:後段の信号処理能力による。

前例のない開発。想像を超えた課題の数々課題克服の原動力は、開発チームの発想力と問題改善能力

―― 前例のないイメージセンサーの開発。コンセプトやこだわったポイントはありますか

山岸:世の中にない、世界初の構造を持つ偏光イメージセンサーの開発であったため、当然ですが、多くが初めての経験でした。

どのようなイメージセンサー(素子)を作ればよいのか、偏光情報を取得するためには、どういった計測が必要なのか、どれくらいの精度のものが必要なのか、すべてが手探りでした。偏光情報の処理に関しては、ソニー本社のR&Dの偏光アルゴリズム開発チームと密に連携し、文献を調査したり、反射除去処理やモノの形状測定処理などの偏光シミュレーションやフィールドテストを繰り返すことで、デバイスの特性を固めていきました。
また、偏光イメージセンサー固有の特性として、消光比という特性があります。消光比とは、どれくらい高精度に偏光測定できるかを示すもので、消光比が高いほど、精度が高くなるのですが、透過率(感度)とトレードオフの関係にあります。消光比はできるだけ上げたいが、透過率も下げたくない。相反する特性でありましたが、目標とした消光比と透過率を両立させることにこだわりました。

加藤:構造の補足ですが、下記の図が偏光イメージセンサーの断面図です。この図の縞々の箇所が偏光子の部分で、金属が細い線状に加工されている構造物になります。(極薄の金属の板が等間隔で並んでいるようなイメージ。)

―― 消光比と透過率のトレードオフの課題は、どのようにブレイクスルーできたのか教えてください

山崎:当初はプロセスの安定性や信頼性の観点から細線状の偏光子の隙間は酸化膜で埋めていました。しかし、この方法だと、消光比と透過率のトレードオフは解消できないことが分かりました。理論上は、偏光子の幅と隙間を光の波長よりも十分に細かく(幅を細く隙間を狭く)すれば、消光比と透過率両方の特性を上げることができるのですが、加工技術の面で限界があります。加えて酸化膜中を通過する光の波長は短くなるため、偏光子の隙間を酸化膜で埋めた構造では更に偏光子の幅と隙間を細かくする必要があることに気づきました。
そこで考えたのが、偏光子の隙間を空気層にしてしまうエアギャップ構造でした。新開発した、このエアギャップ構造により、消光比と透過率を両立させることが可能となったのです。
消光比の課題は、これで解決したのですが、他にもエアギャップ構造の安定性・信頼性の確立。複数の金属層が積層された構造体である偏光子をナノメーターオーダーで加工すること。さらに、その微細加工を平坦ではないイメージセンサー上に作らなければならなかったことなど、クリアするべき課題は山積みでした。

大沢:量産の観点から言いますと、この微細構造を一定以上の品質に保つ必要があります。例えば、500万画素のイメージセンサーの場合、この微細加工を施した画素を500万個均一に作らなければなりません。品質と歩留を一定以上に保つことは非常に難しいことではあるのですが、同時にソニーがお客さまから評価され強みとしている点でもありますので、他のイメージセンサー同様に、偏光イメージセンサーも品質の確保にもこだわりました。

―― 世界初のイメージセンサーということで、製品の評価基準でも苦労したのではないでしょうか

山岸:私は評価測定の手法確立を担当していたのですが、一般的に、偏光フィルターを通さなければ光源からの光は無偏光であると言われていました。そのため、通常のイメージセンサーの評価に使用している光源に偏光フィルターを取り付けて回転させれば、偏光の評価測定環境は簡単に開発できると考えていました。

しかし、実際に実験を行うと、想定と違う画素の出力が出てきてしまい、どうにもうまくいきません。それで、よくよく光源自身を調べてみたら、そもそも光源の偏光状態が均一ではなく、わずかながら元から偏光を持っていることが分かったのです。
世の中で一般的に売られている光源設備は、光の強度や面内均一性について仕様が決められていても、偏光に対する仕様については全く記載もなく、もちろん保証もありません。実際に偏光状態を調べてみるまでどうなっているのか分からないし、同じ製品型番の光源でも仕様が決められていないため個体ごとに偏光状態が異なる(バラつきがある)という問題があることも分かりました。さらに、実際に問題がないと判断して評価に適用した光源も、時間と共に偏光状態が変わってしまう現象も起こりうることが評価をする中で分かり、急遽対策を考えなくてはならなくなったこともありました。
同様に偏光フィルターの選定でも、購入し、使って、偏光フィルターの特性を調べるところから始まり、うまく特性が取れない場合は別の偏光フィルターをまた購入して試すというのを繰り返しましたので、当初の予想を超える試行錯誤となりました。

大沢:設計や製造プロセスも重要な要素ですが、できあがったウェーハを量産化の中でどういう出荷検査をして品質を保証していくかも重要な要素です。ここは山岸さんとも密に連携した部分でもありますが、研究部門が先行して開発していたプロトタイプ品の作成時に培ったノウハウも生かしつつ、ソニーセミコンダクタマニュファクチャリング(株)熊本テクノロジーセンターの技術者達と検査工程の作り込みを行い、同時並行で検査データの蓄積を行うことでソニー製偏光イメージセンサーの品質を規定していきました。
ただ、スムーズに進んだかというと残念ながらそんなことはなく、思った通りの評価結果にならないことも多く、その度にチームメンバーと何が悪いのか、評価環境やデバイスの特性を切り分けながらの議論の連続でした。
ソニーには、通常のイメージセンサーについては膨大なデータ・ノウハウの蓄積がありますが、偏光特性に関してはそれが無かった上に、これまでのやり方ではうまくいかないことも多く起こり、まさに生みの苦しみを味わったと思います。
そうした状況下でも、偏光イメージセンサーの開発にはデバイス・装置環境・光学などのスペシャリストがいたことで、改善精度やスピード感はすばらしかったと思っていますし、だからこそ、高品質な偏光イメージセンサーを世に出すことができたと思っています。

偏光イメージセンサーの市場開拓ははじまったばかり開発企業として試されるSSSグループの提案力と応用力

―― 偏光イメージセンサーによってもたらされるソリューションとは、どのようなものが考えられますか

加藤:産業界では、例えば黒色物体や透明体はコントラストが低いため、通常のカメラでは捉えにくく、これまで目視や抜き取り検査を行っていました。

こうした検査は、偏光イメージセンサーを利用することで自動化できるようになり、誤認識の課題も軽減できます。さらには、偏光フィルターを回転させて不具合箇所をポイントごとに探さないといけなかった検査が、偏光イメージセンサーであれば、ワンショットで画角内全体を確認できるようになるので、省人化、検査時間の短縮に貢献できます。
その他にも、偏光情報を応用したソリューションは、反射除去、3D認識、素材判別、透明体の歪み測定など、いろいろ考えられます。
偏光イメージセンサーでできることは非常に幅広く、一言ではお伝えしきれないものもあるので、私たちの偏光イメージセンサーの技術ページや動画ホワイトペーパーもぜひご覧いただけたらと思っています。
多くのマシンビジョン用カメラメーカーから偏光カメラが市販されていますので、ご興味のある方はぜひご評価いただけると嬉しいです。

通常画像

偏光度画像

―― 今後の偏光イメージセンサーの可能性を教えてください

加藤:偏光情報の取得には光のコントロールが重要になります。光源をコントロールできる工場などから、まず導入が進んでいくと予想しています。
産業界だと、やはり検査用途でもっと使われるようになっていってほしいですね。これまで人でないとできなかった検査や、従来のイメージセンサーでは精度が出なかった検査などに、偏光イメージセンサーで貢献できたらと考えています。
また、ITS業界での車のウインドウ反射除去のソリューションに注目しています。これまでの偏光フィルターでは、車種によっては反射を除去できず、導入をあきらめる事例もあったと聞いていますので、私たちの偏光イメージセンサーが、そのブレイクスルーになることを期待しています。
※ITSにおけるアプリケーション例はこちら

反射光をクリアに取り除き 顔認識率UP

―― 偏光イメージセンサーとAIの組み合わせで考えられる未来とは

山岸:AIにとっては、情報が増えることは判断材料が増えることになるので非常に有用です。そういう意味で、偏光という情報軸が1軸増えるのは良いことだと思っています。さらに、反射が邪魔なシーンでは、不要な情報をカットできるということが非常に強い武器になります。偏光イメージセンサーが不要な光の情報をカットすることで、AIにとっても不要な情報であると認識させやすくなるので、判断の精度にも良い影響があると考えられます。AIとの組み合わせは、情報を増やす目的でも、選別する目的でも最適だと思っています。
また、偏光イメージセンサーと他のセンサーの組み合わせによっては、マルチスペクトルの例で出てくるお肉などの鮮度取得についても、波長の情報に加えて偏光情報も加味してAI等で判断できるようにすれば、もっと精度を上げられるようになるのではないかと考えています。

加藤:私も偏光イメージセンサーとAIの組み合わせは非常に相性が良いと考えています。取得できる光の情報量が多いので、原理的にはセンシング精度は向上するはずです。
人や車両、透明ボトルなどの認識率を、ディープラーニングを用いて比較したことがあるのですが、トライアルした環境においては、いずれの場合でも偏光イメージセンサーの方が、認識率が高いという結果も出ています。
偏光イメージセンサーとAIの組み合わせの実用化には、画像の信号処理の知識だけでなく、「偏光」の理解もある程度必要になりますので、なかなか技術難易度が高いかもしれませんが、だからこそチャンスがある領域だと考えています。

通常画像

偏光方向画像

開発、製品化で終わりではない偏光の需要はお客さまの数だけあり、可能性はまだまだ広がる

―― これから、どのようなことに挑戦したいですか

山崎:偏光イメージセンサーでなければ得られないメリットはありますが、現状、偏光イメージセンサーは偏光子を搭載している分、感度や解像度が悪化するというデメリットもあります。感度や解像度の劣化のない偏光イメージセンサーを開発し、さまざまな分野で偏光イメージセンサーが使われるようにしたいですね。

山岸:構造的には、いろいろな仕様のイメージセンサーに偏光子を取り付けることは可能です。今後、偏光への需要が増えてくれば、自ずとさまざまな機能や特性の偏光イメージセンサーが求められるようになると思うので、どのような特性であっても品質が担保できるような測定環境や光源づくりができるように技術を蓄積していきたいと思います。

大沢:最近はお客さまと会話する機会が増え、その場でさまざまな課題を耳にすることがあります。ソニーには偏光に限らず、ユニークなセンサーをたくさん持つ強みがあるので、それらを駆使し最適な解決提案をしていきたいです。
もしその時に解けない課題があれば、チャンスと捉え、新技術の開発に繋げることで世の中の発展に貢献したいと思っています。

加藤:センシングの技術は発展すると、人の作業を機械で置き換えることができ、人にとってより豊かな時間づくりに貢献できるようになると思っています。
ただ、この偏光のように技術自体が難しいとなかなか導入ができず宝の持ち腐れになってしまうので、世の中で活用できる環境づくりにも目を向けていかなければならないと思っています。
使ってもらってこそ価値があるので、使ってもらえるように技術を実用化に落とし込むことにも力を入れていきます。

関連リンク

※これより先は、当社が委託した株式会社セールスフォース・ドットコムのサイトへリンクします。

ホワイトペーパー

偏光を利用した反射除去の原理と偏光イメージセンサーの特長