あの研究室はどんな研究をしているのだろう？　そんな疑問に答える“研究室探訪”。
今回は，筑波大学 画像情報研究室にお伺いしました。

研究成果を実際の現場で磨き上げる

被写体を様々な角度から撮影した多視点映像から推定した3次元情報に基づいた“映像メディア”や“3次元シーン理解”に関する研究に取り組んでいる。実用性の高い手法の提案を重視しており，研究シーズにマッチする現場のニーズ調査を基盤とした研究活動を展開している。映像メディアで力を入れている自由視点映像の実用課題は映像品質と付加情報の伝達である。4K・8Kなどの高解像度映像情報と5Gなどの高速情報通信インフラを活用し，好きな時に好きな角度から好きなだけ見たいシーンの鑑賞が可能な自由視点映像配信の実現を目指している。3次元シーン理解では，世界遺産の保存，スポーツトレーニング，採掘作業の効率化，災害マップ生成など，現場のニーズに資する3次元コンピュータビジョン技術の研究開発に注力している。現場で観測される情報は観測条件が厳しく，かつ膨大である。クラウドソーシング技術を導入することにより観測データから有益な知見を迅速に獲得し，それを手がかりに計算機リソースを活用した高速かつ正確な3次元シーン認識を目的とした研究に取り組んでいる。

［研究テーマ1］AR提示機能付き自動走行車両搭乗追体験システム

　今後，空港やショッピングモールでは，自動運転で人や荷物を運ぶ小型モビリティの活躍が期待されているが，新しい移動手段の導入には，安全な走行技術に加え，搭乗者が感じる安心感の検討も重要である。自動走行時の車両周囲の様子を全方位カメラで撮影し，その映像に基づいてVR空間を構築することで，老若男女を含め多様なユーザーを対象とした搭乗実験を実施する（図1）。高い安心感を与える自動走行制御技術や，自動走行制御情報の可視化（拡張現実提示）が搭乗者の安心感に与える影響の調査検討を行っている。

図1 　VR技術を用いた自動走行車両の疑似搭乗体験システム

［研究テーマ2］自由視点映像でスポーツ観戦をカスタマイズ

　様々な視点で撮影した多視点画像から実世界の3次元情報を推定し，その情報に基づいて自分の好きな角度や距離からの映像の閲覧を可能とする“自由視点映像”技術は，スポーツ観戦，技能伝承，教育支援など，様々な分野での応用が期待されている。サッカー中継に自由視点映像の導入を目的とした研究では，視点の移動感の再現と高品質映像の生成が可能な“バレットタイム映像”を用いた多視点映像閲覧方式の開発に取り組んでいる（図2）。ゴールエリアを取り囲むように約20台のカメラを配置し，コンピュータビジョン技術によって推定した撮影カメラの位置姿勢や被写体位置をバレットタイム映像生成処理に組み入れることにより，注目対象を好みの角度からリアルタイムで閲覧可能な映像提示を実現する。自由視点映像によって，教育や介護現場でのセラピストや介護士の技能習熟度の確認（図3）や，医療現場における医療スタッフの協調作業を支援する試みにも取り組んでいる。

　
図2　自由視点映像サッカー中継にむけた実証実験　　　　　図3　自由視点映像を用いたセラピストの技能習熟度の確認

［研究テーマ3］世界遺産の予防的保存活動への3次元モデリング技術の活用

　カンボジア・バイヨン寺院など世界遺産の予防的保存の取り組みとして，画像情報を用いた劣化・損傷の検出に関する研究に注目が集まっている。劣化の一因として表面に繁殖する地衣類が知られているが，生育速度が非常に遅いため，長期間に渡って観測したデータを手がかりに損傷箇所の判定処理を行う必要がある。注目箇所の多視点映像から復元した3次元モデルを媒体として，撮影時間が大きく異なる複数枚の画像を高精度に重畳する研究に取り組んでいる（図4）。重畳画像を遺産保存の専門家が観察することにより，表面劣化の確認や保存活動の効果の検証が可能となる。

図4　撮影タイミングの異なる画像の重畳処理

画像情報研究室より

　我々は，鳥肌が立つくらいスタイリッシュな映像生成を可能とする映像メディア，見ただけで被写体のコンディションや形状が解る映像診断技術など，実際の現場で見出した研究課題に積極的に取り組んでいます。生み出した研究成果を現場での実利用を通じて磨き上げることで，世の中の幸せに寄与できればと考えています。また，見たことのないものを見てみたいという人間の欲求に答え得る多視点映像情報の本質的な価値について，突き詰めていきたいと考えています。