ARグラスシステム

現実世界に立体映像を投影する透過型ウェアラブルディスプレイです。音と映像を任意の位置に定位させ、装着者に仮想物があたかもそこに実在しているかのように感じさせる技術の研究開発を進めています。独自の調光システムにより装着者が屋外などの明るさの異なる場所を行き来しても安定的に映像を見せるよう検証を行っています。

映像と音の空間定位

装着者が透過型ウェアラブルディスプレイを通して見ている現実世界の空間を把握し装着者の動きに合わせて遅延なく、歪みなく立体映像を表示させる技術です。加えて、音声が左右の耳に届く音圧差、時間差、頭部伝達関数(HRTF: Head Related Transfer Function)を利用することで、ヘッドホンから出力される音声でありながら、装着者の周囲の空間の特定の場所から音が発せられているように感じさせることができます。

調光素子(エレクトロクロミック素子)

周囲の明るさをセンシングして、その明るさに応じて調光素子の透過度を調整することで、屋外の明るい場所でのディスプレイの視認性を確保できます。最も明るい状態から最も暗い状態には2秒で、最も暗い状態から最も明るい状態には5秒で変化させるなど、ユーザービリティを考えた開発を進めています。


エージェント技術開発システム

音声対話に加えてユーザーセンシングとビジュアルフィードバックが可能なマルチモーダル型のエージェント技術開発システムを開発しています。開発中のシステムは、音声認識と画像センシングが可能なハードウェアと対話アプリケーション開発が可能なクラウドサービス、SDKから構成されます。シナリオ型の対話アプリケーションや画像センシングを活用してエージェントからユーザーに働きかけるようなアプリケーションの開発も可能です。

マルチモーダルセンシング

マイクから「どこから音がするか、どんな内容か」を認識し、カメラから「誰が、どこにいるか」をセンシング、それぞれの情報を統合処理して、ユーザーの行為や環境の変化を認識するリアルタイムセンシングの技術を開発しています。

遠隔発話音声認識

TVの音や会話などの影響で音声が聞き取りにくい家の中でも、8chマイクアレイで周囲の音の状態を正確に把握し、ユーザーの声を捉えてクリアな音声に変換することで、離れた場所でも高精度な音声認識を実現する技術を開発しています。


FUTURE EXPERIENCE PROGRAM

FUTURE EXPERIENCE PROGRAM(フューチャー・エクスペリエンス・プログラム)は、開発中のプロトタイプをユーザーや企業・団体に紹介し、得られたフィードバックを反映しながら進化させていくプログラムです。

ネックバンド型ウェアラブルデバイス "N"

4つのマイクによるノイズ抑制技術、ローカルとクラウドのハイブリッド音声認識技術、バーチャルホンテクノロジーによる音像定位の技術を組み合わせることで、耳をふさがず、ハンズフリーで音声対話が可能なネックバンド型のウェアラブルデバイスを開発しました。(ネックバンド型ウェアラブルデバイス “N” のプログラムは終了しております)

パーソナライズドラジオサービス

ユーザーに個人化された情報を音声で提供する音声情報サービスのプロトタイプを開発しました。例えば、朝、自宅を出るタイミングを認識して、その日の天気を読上げてくれたり、自転車に乗っているときに、信号待ちなどで止まったタイミングを認識して、ニュースを読上げてくれる体験を実現しました。

バーチャルホンテクノロジー (VPT™)

ユーザーの首元のスピーカーからの音声を、頭部の周囲から聞こえるように音像を定位させることで、耳を覆わずに、まるで音声に包まれているかのような体験を提供する技術です。

ビームフォーミング

口元から離れた位置の複数のマイクで、騒音環境下でのノイズを抑制し、音声認識率を向上させる技術です。人間が、ふたつの耳に生じる音圧差・時間差を利用することで、騒音の中でも音を区別できるように、Nでは4マイクに生じる微妙な時間差を利用し、ユーザの口元からマイクに入る成分のみ通過させ、それ以外を低減させる技術を開発しました。

インラタクティブ・テーブルトップ・プロジェクター “T”

T はテーブルや物体上に直接触って操作できるインタラクティブな空間を作り出します。ハードウェア・ソフトウェアをオールインワンで実現することで、自然に情報に触れあえる体験を実現します。テーブル面や物体を活用した、エデュテインメント・クリエーション・ビジネス向けプレゼンテーションなど幅広い分野への応用を想定しています。(インラタクティブ・テーブルトップ・プロジェクター “T” のプログラムは終了しております)

デプスセンシングシステム+機械学習を用いたジェスチャ認識技術

ソニー独自の画像認識技術により、テーブル上での手指の三次元的な動きやテーブル上に置かれた物体形状を認識することができます。投影された情報に対しての多
彩な操作や、物体を用いた直感的なインタラクションを実現します。

深いフォーカス範囲を持つプロジェクターモジュール

ソニーの独自デバイス SXRD™とレーザー光源によるプロジェクターモジュールでクリアな映像をテーブル面や物体上に投影します。フォーカス範囲が深いため物体上とテーブル面に同時に焦点が合い、投影された情報と物体が融合した空間を実現します。


このページの先頭へ