Sports & AI プロジェクト

誰も見たことのない
スポーツの魅力を

ソニーが国際的なテクノロジーの祭典 CES 2020に出展した、センサーとAIを用いたライブスポーツ制作の技術展示。卓球の試合を撮影しながら、
物体認識/追跡処理を組み込んだ高速ビジョンセンサーと独自の骨格推定技術を使って、球や選手の動きをリアルタイムに解析し、これまで見えなかった
球の軌跡、選手の骨格や姿勢を可視化したこのプロジェクトは「スポーツ放送の魅力向上にソニーのテクノロジーが生かせるのではないか」という
デザイナーの社内提案からはじまりました。デザイナーとエンジニアが共創したプロジェクトの軌跡をメンバーたちが振り返ります。

ソニー
クリエイティブセンター
デザイナー
川野

ソニー
クリエイティブセンター
シニアアートディレクター
菅原

ソニー
セミコンダクタソリューションズ
エンジニア
阿部

ソニー
イメージングプロダクツ&
ソリューションズ エンジニア
田原

ソニー
クリエイティブセンター
シニアマネージャー
宮澤

ソニー
クリエイティブセンター
シニアマネージャー
浅井

デザイナーが見出す、
テクノロジーの可能性

Sports & AIプロジェクトの発端は、ソニーのデザイン部門であるクリエイティブセンターが主催する「CARAVAN」という社内のデザイン開発イベント。そこで、どのようにしてプロジェクトがはじまったのだろうか。

宮澤私たちソニーのデザイナーは、製品のデザインはもちろん、社内にある多様なテクノロジーを翻訳・編集し、さまざまな分野で新たな体験価値を創造していくという役割を担っています。日々の業務で、エンジニアや研究者から「開発中の技術の使い道を考えてほしい」と相談されることも多いのですが、デザイン側から「この技術はこの分野に生かせるのではないか」とより能動的に提案するイノベーションの場として、数年前より開催しているのがCARAVANという社内イベントです。ここでは、デザイナーたちが日頃から社内外のテクノロジーを見つめ、そこに新たな可能性を見出し、エンジニアの力を借りながらつくったプロトタイプを発表します。

浅井2019年度CARAVANで発表した展示の一つが、高速ビジョンセンサーと骨格推定技術を組み合わせ、卓球の球や選手の動きをビジュアル化するという私たちのプロトタイプでした。ただ実を言うと、私たちは元々このプロトタイプをいっしょに開発していたわけではありませんでした。宮澤は高速ビジョンセンサーに、私は骨格推定技術にそれぞれ注目し、別々にデザイン開発を行っていて、途中から一つのプロトタイプにまとめていったのです。

宮澤そうでしたね。私は産業用ロボットの分野に活用されていた毎秒1000フレームの撮影ができる高速ビジョンセンサーを用いて、スポーツ中継などの分野で新しい体験価値が生み出せないかと考えていました。そこで、高速で球を打ち合う卓球をテーマに選び、このセンサーの開発担当であるエンジニアの阿部に協力してもらいながら、速いスピードで行き交う球の軌跡などをトラッキングするデザイン開発に自主的に取り組んでいました。

浅井一方で、私たちもスポーツ放送の次の形を考えていて、試合の中継映像だけではなく、選手の動きのデータを伝送して、例えば、CGキャラクターを重畳させるなどの未来像を思い描いていました。そして、身体にマーカーをつけず、選手の骨格の動きや関節のねじれまで高精度に認識できる骨格推定技術を開発していた田原といっしょに、選手のモーションデータをいかにスポーツ放送に生かしていくかを模索していました。

その過程で、宮澤が開発していた試作と出会い、それと合わせれば、もっと観戦が面白くなるのではと閃いた訳です。高速ビジョンセンサーで取得した球のデータと、骨格推定技術で取得した選手のデータを組み合わせ、球の軌道から選手の姿勢までAI技術で可視化し、スポーツ映像の新たな魅力を引き出す。そんな構想から一つのプロトタイプにまとめ、CARAVANで発表しました。来場者の評価も上々で「クリエイティビティとテクノロジーの力で、世界を感動で満たす」というソニーの全社的な動きとも合致し、Sports&AIプロジェクトとしてCES 2020に出展することになったのです。

テクノロジーの力を、
プリミティブに表現すること

CES 2020に向けたデザインのブラッシュアップは、主に菅原と川野が担当。CARAVANに出展したプロトタイプをもとにエンジニアと共創し、高速ビジョンセンサーと骨格推定技術を融合させ、体験の完成度を高めていった。

菅原世界中の放送関係者や映像クリエイターが集まるCES 2020に出展するにあたり、私たちが目指したのはソニーのテクノロジーの力を伝え、新たな映像制作の可能性を感じてもらうこと。そのために、高速ビジョンセンサーと骨格推定技術の優位性を引き出すデザインを追求し、卓球というスポーツのまだ見ぬ魅力を描き出そうと考えました。そこで、これらのテクノロジーを改めて見直しつつ、卓球関係者にヒアリングし、エンジニアの阿部や田原とともにCARAVANでのプロトタイプをブラッシュアップしていきました。細部のビジュアル表現は川野がこだわってくれました。

川野まずは高速ビジョンセンサーが検出した球の軌跡をいかにデザインするか。阿部が実現した毎秒1000フレームで対象物を検出できる性能は比類がないもの。そこで「高速で行き交う球をどれだけ高精度に追えているのか」を加飾せず、プリミティブに表現すれば良いと考えました。基本的には球の軌跡を細くシンプルなラインでまとめていきながら、試合のラリーがわかりやすいように選手ごとに2色に分け、相手コートへのバウンド位置も表示することで、これまで見えなかった打球のコース取りにおける選手の駆け引きを可視化。また、卓球の経験者にヒアリングした際、球の回転数や回転のバリエーションが勝負の決め手になることがわかり、球の回転のビジュアル表現にも注力しました。

阿部川野が提案してくれた球の軌跡のデザインは、高速で行き交う球を高精度かつ三次元で追えているこのセンサーの強みと卓球の面白さが両方わかるものでした。そこから描画する軌跡の長さやバウンド位置の描画のタイミングなどをエンジニア側からも提案するなど、互いにアイデアを出し合いながら、見せ方の完成度を高めていきました。さらに感心したのが、球の回転のビジュアル表現。回転の向きと球の座標を組み合わせる見せ方を提案してくれ、こちらにはない発想で面白いと感じました。これによって、卓球の奥深い魅力を表現できたと思います。

川野また、田原が開発していた骨格推定技術は選手の関節の三次元的なひねりまで認識できることが強みであり、かつ卓球では選手の腕や身体のひねりが打球のポイントになるため、それらを強調するようなデザインを考えていきました。そこで、一般的なモーションキャプチャのように「関節を点、骨を棒」と表現するのではなく「関節を立体的、骨を平板状」に表現することで、打球時に身体の各部位がどの方向に向いているのかが明確にわかるように工夫。ただ静止画のスケッチだけでは判断できず、関節と骨のデザイン案を複数持って田原の開発スペースに行き、実際に動いている骨格推定の映像に当て込んでもらいながら、デザインを詰めていきました。

田原骨格推定技術はAIを使った研究開発が盛んで、たくさんの骨格表現があるのですが、川野の「関節の立体化、骨の平板状化」というビジュアル表現は初めて見るものでした。しかも、このビジュアルを映像に当てはめてみると、私たちの骨格推定技術の強みである骨格や関節のねじれ、角度の変化が一目でわかるとともに、卓球選手の身体のひねりも如実に分かり、例えば、選手のフォーム改善などの練習用データとしても有用になると思いました。また、開発スペースに通いつめてデザインの最終調整にこだわる川野の姿勢を間近に見て、私自身もエンジニアとしての強い意志をもって骨格推定技術の仕上げに取り組むことができました。今回のプロジェクトはデザイナーとエンジニアが刺激し合いながら、一から共創した開発作業だったと思います。

人とテクノロジーの接点をつくり、
新たな体験をデザインしていく

CES2020での技術展示はどのように行われ、訪れた来場者の反応はどうだったのか。さらに今後、どのような展望を考えているのか。

浅井CES2020の展示では、ソニーのテクノロジーの力が直感的にわかるように、デモンストレーションとして行われた卓球の試合の背後に2つのモニターを設置。選手のラリーをリアルタイムに解析し、一方のモニターでは骨格推定技術で捉えた選手の骨格映像を流し、もう一方のモニターでは今後のエンタテインメントへの応用を示唆するべく、選手の骨格データと球の軌跡情報をCGキャラクターにリアルタイムに同期させる施策も行いました。

さらに、高速ビジョンセンサーによる球の軌跡などの解析は、わかりやすくムービーにまとめ、試合の合間に流すとともに、展示ブース上部の大きなスクリーンに映し出し、アイキャッチの役割も持たせました。イベント期間中、Sports & AIプロジェクトのブースは多くの放送関係者で賑わい、映像クリエイターの方からも「卓球に限らず、自分たちのコンテンツに対しても応用できる可能性を感じた」というフィードバックをいただきました。

宮澤今後の展開ですが、CES2020で発表した卓球以外にも、バスケットボールやゴルフ分野で骨格推定技術を使ったプレーヤーの姿勢の可視化によるコンテンツ表現の提案を行なっています。また、高速ビジョンセンサーについても、さまざまなコンテンツへの応用が期待されています。今回のプロジェクトでは、高速ビジョンセンサーと骨格推定技術を取り上げましたが、ソニーグループ内にはまだまだ多くの最先端テクノロジーがあります。今後も社内イベントであるCARAVANを通じて、これらのテクノロジーを翻訳・編集し、新しい価値創造を目指していきます。

菅原新たな価値を創造していくために、私たちデザイナーはテクノロジーに対する知見はもちろんのこと、人について考え続けることが重要だと考えています。日々、世の中を観察し続け、人々はいま何に興味を持ち、何に心を動かされるのか。そういった自分なりの予見を溜め込み、チャンスがきたら、必要な技術を組み合わせて、新たな価値創造にアプローチしていくこと。私たちはユーザーインターフェイスデザイナーという肩書きなのですが、製品画面の中をデザインすることだけが仕事ではありません。人々の営みとソニーのテクノロジーの接点となるインターフェイスを創ることこそが私たちの仕事だと考えています。今後も新たな体験づくりに挑戦し続けていきたいと思います。

スポーツの魅力を向上させる、新たな観戦体験を提案したSports&AIプロジェクト。
クリエイティブセンターはこれからも、ソニーのテクノロジーを見つめ直し、
エンジニアとともに、さまざまな分野でのソリューションを提案していきます。