SONY

メニュー
サイト内検索ボタン

サイト内検索エリアを開く

“脊髄反射”により迅速なフィードバックとレスポンスを可能にする

リアルタイム映像情報解析

交通や治安、農業や医療、工場などスマート化・自動化された世界では、レイテンシーを数ミリ秒以内のリアルタイムにすることが求められています。「情報収集」を行うイメージセンサー、「認識・分析」を行う画像認識、そして「制御・行動」につなげるシステムやロボットといった産業システムにおいては、イメージセンサーとAIが「画像の高度な認識・分析」を担い、高速ビジョンセンサーが「迅速なフィードバックとレスポンス」を担います。あたかも、人間の「大脳(AI)」と「脊髄(高速ビジョンセンサー)」の関係のように。

能勢 敦/阿部 圭祐

能勢 敦(写真左) ソニーセミコンダクタソリューションズ株式会社
モバイル&センシングシステム事業部

阿部 圭祐(写真右) ソニーセミコンダクタソリューションズ株式会社
モバイル&センシングシステム事業部

取得した映像情報を、センサーの中で処理。

阿部:高速ビジョンセンサーとは、簡単に言えば、物体を検出・追跡するものです。通常、イメージセンサーはデバイス側で取得した映像情報を外部のGPU・CPUなどに転送して処理を行いますが、高速ビジョンセンサーはそれ自身の中でセンシング処理まで行います。これにより外部に転送する情報を最小限にできるため、システム全体の高速化と小型化を可能にします。ちなみに一般的なイメージセンサーが1秒間に30から60フレームの画像を取得して処理するのに対し、高速ビジョンセンサーは、その10数倍近い1000フレームもの画像を処理できます。ターゲットとなる物体の色や輝度を1秒間に1000回も認識することになるので、かなり速い動きにも対応が可能です。

能勢:例えば、速く動いているものをカメラで撮りたくても撮り逃してしまう、ロボットの反応が遅くて十分に機能しないといった問題は、センサー側の速度の問題でもあります。それを改善したいという思いが、そもそもの開発動機だったのです。
*高速ビジョンセンサーは東京大学石川研究室と共同開発した技術を応用したセンサーです。

高速ビジョンセンサーが実現した驚きの体験。

阿部:高速ビジョンセンサーを「A(i)R Hockey」に搭載し、2018年のSouth by Southwest(SXSW)で多くの方々に体験してもらいました。また、2020年に渋谷ソニースクエアで行われた体験展示「High Speed Colors」では、高速で走っているミニ四駆の車体に対してプロジェクションマッピングを行いましたが、非常に難易度の高いものでした。このように、高速ビジョンセンサーの卓越した高速レスポンス性能はエンタテインメント分野での活用も期待されます。そして、2020年のCESで注目された展示「Sports & AIプロジェクト」では、選手の間を飛び交う小さな卓球のボールを2つの高速ビジョンセンサーで認識し、激しい打ち合いの様子をリアルタイムで3D CGとして表示しました。選手の動きや技術、ボールの軌跡や回転を3次元で視覚化するこのシステムは、スポーツ中継をより面白くすることや、選手の技術の更なる向上に役立ちます。さらに、同じ2020年のCESで展示された「視線認識型ライトフィールドディスプレイ」では、高速ビジョンセンサーで捉えた映像から観察者の視線を認識することで、ブレることなく自由な視点から立体映像を見回すことができるようになっています。
*ミニ四駆は株式会社タミヤの登録商標です。

「人に近づく」 AIと高速ビジョンセンサー。

阿部:喩えるなら、AIは大脳、高速ビジョンセンサーは脊髄反射。この2つのテクノロジーを組み合わせることで、あたかも人間のような機能を実現できます。例えば、AIが状況判断や監視、分析を行い、高速ビジョンセンサーが移動体の検知、歩行者などを追跡し、脊髄反射的に衝突回避を行うことでより「ぶつからない車」に近づけることが出来ると考えています。このようにAIと高速ビジョンセンサーの組み合わせは、工場の自動化、ドローンやロボットの自動操縦を始め、様々な分野において大きな可能性を有しています。

能勢:高速ビジョンセンサーは、AIに情報を送る前に対象物を検知するという役割をもっています。一方、AIは、センサーから届いた情報を解析して、それが人なのか犬なのかといった違いを識別するのが得意。だから、組み合わせることで性能が補完されるのです。将来的には、高速ビジョンセンサーの速度を保ちながら認識できる対象を増やしていきます。ソニーは、AI処理機能を搭載したインテリジェントビジョンセンサーも既に商品化しました。高速ビジョンセンサーとは異なる目的で生まれたイメージセンサーですが、それぞれの技術の強みを掛け合わせることにより、さらに進化したセンサーになることも考えられます。

リアルタイム認識がもたらす、未来の利便性とエンタテインメント。

阿部:デバイスと人とのインタラクション性を高めていくことで新しいものが生まれ、より便利で豊かな社会ができると信じています。デバイスで取得した情報を、デバイス自体でリアルタイムに処理することで、高レスポンスなインタラクションが可能になります。大きなAIを開発するのはもちろん大切ですが、一方でデータの解析をデバイス側で瞬時に軽く行えるものを開発することも大切なのです。高速ビジョンセンサーは動きをリアルタイムに認識できます。これを利用して非接触型のインターフェイスを開発したいと考えています。そしてその先には、物理的なスイッチすら存在しない未来を実現していきたいと考えています。

能勢: ARやVRといった仮想現実の実現には、センサーの高速性が重要です。例えば、ヘッドマウントディスプレイを用いたVRでは臨場感のある体験ができますが、人の頭の動きと映像との間の遅延時間を短くすることで、より上質なエンタテインメントを提供することができると考えています。そのためにはやはりセンシング技術の向上が求められます。楽しさやエンタテインメントを大切にするソニーの一員として、私はこれからもセンシング技術のリアルタイム性を追求し続けます。

このページの先頭へ