アクセシビリティの向上にセンシング技術で貢献する
誰でも楽しめるウェルネスゲーム作りに込められた想い

宮田

ここ数年、私はソニーグループ（以下、SGC）のクリエイティブセンター、SIEのグローバルデザインセンターと、モーションセンシング技術を使ったゲーム応用を検討する活動を行ってきました。ゲームコンソールは、“十字キーと決定キーのコントローラーを両手で持つ”という基本スタイルを40年以上続けてきましたが、その動作が難しかったり、心理的な障壁を感じてゲームになかなか辿り着けない方もおられます。たとえばそこにモーションセンシング技術を使えば、何も手に持たず、ただカメラやテレビの前に来てもらえればゲームが始まる、といったことも実現可能です。

宮田氏

Idea2Hackでは、実際に動かせるゲーム作品が対象の「ハッカソンカテゴリ」に参加した方々には、主にSSSのToF ARと呼ばれるモーションセンシングソフトウェアと、SIEで開発したMotionLibrary^*2を組み合わせてご提供しました。このカテゴリの最優秀賞「ベストハック賞」を受賞した井上さん、鶴園さんのチームには、ご要望によりToF ARとは違う仕組みのDS-X2を使ったMotionLibraryをご提供しました。DS-X2は、SSSのセンサーフュージョン開発向けの評価機で、通常のRGBセンサーに加えて、動きを高速にとらえるイベントベースビジョンセンサー(以下、EVS)と、高精度な距離測距（奥行きの距離を計算）を可能にするSPAD Time of Flight方式距離センサー（以下、SPAD 距離センサー）の３つが搭載されています。

モーションセンシングのゲーム応用には、動き出しに遅延がなく、かつユーザーが手を止めている時は完全な静止状態にスタビライズできることが必要です。SIEは、RGBとEVSを組み合わせたアダプティブなローパスフィルタ^*3を開発し、この課題をクリアしました。またゲーム入力にはRGBセンサーとSPAD距離センサーを組み合わせ、ソニーグループのR&Dチームの2D人体姿勢推定技術の認識結果を3D化する機械学習モデルを採用しています。（→後述デモンストレーションで解説） *2)Idea2Hackでモーションセンシング結果をつかってアプリを作りやすくするため、機能を切り出して再利用しやすいようにまとめたもの。
*3) 特定の周波数以外の信号を遮断する機能を持つフィルタの一種で、低域周波数のみを通過させるフィルタ。

鶴園

友人にろう学校の先生がいるので、耳が聞こえない方の中でも特に幼い子たちが学習する上で、どのようなところに難しさがあるのかを聞いてみたところ、「指文字」の習得がなかなか難しいというお話がありました。手話表現には、「ありがとう」や「車」のように意味や単語を一つの動作で表現するものと、「あいうえお…」や「ABC…」のように１文字ずつ表現する「指文字」があります。「指文字」は、固有名詞などを伝えるために必ず覚えなくてはならないのですが、手と指の動きが細かい上に３次元的な形のため教科書ではわかりにくく、直接教えたくても先生がずっと隣にいることはできません。それなら３次元の情報が取れるセンサーを使えば、1人でも楽しく遊びながら「指文字」の学習ができるゲームをつくれるのではないか、と考えたのがスタートです。回転寿司を使った従来のタイピングゲームの設定と融合して、指文字で寿司ネタを入力する「指文字でお寿司を食べよう！」のアイデアに辿り着きました。

井上

場合によっては幼稚園生ぐらいから、小学校3年生くらいまでに「指文字」を学ぶ必要があると聞いて、学習コストが高くかからずに、小さな子どもたちも楽しく遊びながら学べるゲームをつくろうということがモチベーションになりました。ゲームの内容は、ユーザーがお寿司のネタが流れてくる画面を見ながら、キーボードでタイピングする代わりに「指文字」で表示される寿司ネタのスペルを打っていくというものです。

「指文字」の中には人間の眼で見てもパッと区別がつかないくらい似ているものもあって、カメラの前でつくった「指文字」を、きちんと認識、判別できるようにすることが難しかったです。たとえばMとNでは親指が出ている位置が違いますが、この小さな差異が“センサーの癖”などの外乱要因によって埋もれてしまうと、同じ手姿勢と判断されてしまいます。センサー出力を認識、判別する行為はそれまでの学習に使ったデータセットに対して性能が出るので、“指文字の手姿勢を全て判別する”という自分たちにとって必要な性能に合わせた学習サンプル数を増やすなどして、チューニングする必要がありました。

鶴園

私は主にゲームのアプリケーションの開発を担当したのですが、ろう者の方々にとって入力した文字の正誤がパッと一瞬で見てわかるように工夫しました。まず、"ろう者も健聴者も等しく遊べる"ことを意識し、BGMや効果音を一切入れないという表現の工夫をしました。ゲームを始めるとユーザーの指文字をセンサーが捉えて、画面にはアバターのCGが表示されます。文字入力が成功したときには、アバターがライティングで青く光ったり、流れてくる寿司がちょっとジャンプしたり、細かな視覚的な工夫を加えました。それから小さな子どもたちも楽しめるように、得点を積み重ねていくと食べたお皿がどんどん積み重なって最後のリザルト画面に現れるといった遊び心も入れています。

宮田

少し補足すると、認識された手指の形をアバターのCGでゲーム画面に表示する部分に関しては、DS-X2の実施結果を使っています。奥行き方向などはRGBセンサーで認識した結果だけだとカメラからのリアルな距離がわからないので、 SPAD 距離センサーで取れた距離情報と掛け合わせ、表示のクオリティを上げています。ユーザーは、自分の手指の動きと同じようにゲームに表示されるCGの手も前後左右に動いてほしいと思うものですが、そのような動きのスムーズな表示にSSSのSPAD 距離センサーの良さが発揮されていると思います。

宮田

参加者の方々のアイデアや開発作業を支援するために、Idea2Hackではメンター制度が設けられたのですが、井上さん、鶴園さんチームはもともと高いスキルをお持ちでMotionLibraryのドキュメント提供のみでほぼ問題ありませんでした。「指文字でお寿司を食べよう！」は、タイピングソフトとして確立された定番ゲームのインプット部分をビジョンセンシング認識結果に差し替えるというところが非常に興味深いアプローチだなと思いました。こうした手法は他にも応用が広がりそうです。また今回の貴重なユースケースによって、「指文字」の認識で苦手な手姿勢について、ソニーグループのR&Dチームにもフィードバックすることができました。
ソニーグループでは、組織の垣根を越えてシナジーを創出することが求められています。今回のIdea2Hackも、グループ横断でさまざまなバックグランドを持つメンバーが有機的に作用することで、アウトプットの質を高められた良い事例となったので、新たな活動にも繋げていきたいと思います。

井上

はじめはハンディキャップを持っている方の利便性や不安解消のためにアクセシビリティを高めるというIdea2Hackのテーマから「指文字」入力を開発したのですが、やってみると結構素早く入力ができるんですよね。そうなると、たとえばテレビのリモコンでポチポチ入力するよりも、「指文字」入力の方が圧倒的に早いかもしれない、非接触入力インターフェースとして優秀なのでは‥といったイメージが湧いてきました。ここをスタート点に、培った技術を応用して、どんな人にとっても使いやすいもの、便利なインターフェースやセンシング技術を実現できるような仕事をやっていけたらいいなと思っています。

鶴園

私自身、障がいを抱えた兄がいまして、障がいというものに対して普通の人より少し身近に感じていて、センシング技術で何かできることがないかというのは、ずっと考えてきたことでした。今回はセンシング技術によって距離を測るなど、いわゆる“機械の眼”をつくってアプリケーションを起こしていったのですが、きっと“機械の眼”だけじゃなくて“機械の耳”など、いろいろなところを技術でつくっていくことが可能だと思います。井上さんが話してくれたように、障がいを持っている方だけでなく健常者の方にも新しい価値や体験を提供できるデバイス、たとえば「数km先が見えるゴーグル」や「犬や猫みたいな聴覚を体験できたりするイヤホン」など、便利で面白いデバイスが普及していき自然と社会全体のアクセシビリティ向上にも繋がっていく、そのようなセンシング技術をつくっていきたいです。

SSSグループはサステナブルな社会に貢献していく方針として「サステナビリティ コンパス」を策定しており、そこでめざす社会像の一つとして、「世界中の人がいきいきと活躍できている社会」があります。私たちはその方針の下、「イメージセンサーの技術で人々の自立を支える」というコンセプトで、アクセシビリティ向上に取り組んでいます。今回のIdea2Hackでは、自分たちが考えたアイデアを実際に手を動かして形にしたことで得られた気付きが多くありました。この経験を生かして、誰もが楽しく、便利になるようなプロダクト・ソリューションをつくり、アクセシビリティ向上に貢献していきたいと思います。