セミナーレポート
行動解析技術の最前線NEC バイオメトリクス研究所 研究マネージャー 西村 祥治
本記事は、国際画像機器展2021にて開催された特別招待講演を記事化したものになります。
>> OplusE 2021年1・2月号(第477号)記事掲載 <<
個人の行動解析
行動解析技術とは,映像中に映った人物を,行動の違いで区別する技術です。用途は大きく2つあります。1つ目の用途は,気になる行動をしている人を見つけることです。パブリックセーフティの分野では,街中で危険な行為をしている人や注意を要する行動をしている人を見つける,放送メディアの分野では,スポーツ・バラエティなどのシーンで,ある特定のプレーやリアクションを大量の映像の中から効果的に見つけることが挙げられます。2つ目の用途は,ある人物がしている行動を評価することです。技術的には,暗黙に望ましいと思われる行動の違いの差を測り,工場などの作業工程の監査・改善への応用が考えられます。今回は1つ目の個人の行動解析を中心に紹介します。行動解析技術は,個人の行動解析と,群衆の行動解析とに分類できます。個人の行動解析技術は,映像に映った人物の骨格や動線の形状・パターンを把握し,解釈する技術です。そこには,まず多数の人物が映った映像から,人物ごとの時系列データに分ける技術があります。次に,人物ごとの時系列データから行動を意味づけるために,動作や移動に着目した動作検出,動線分類の技術があります。
動作の検出でここ数年トレンドになっているのが,骨格情報の活用です。従来の深層学習では,映像から直接動作を検出していました。しかし,最近では,映像からいったん人物の骨格情報を抽出し,その骨格の変化などを解釈して動作を検出するようになっています。解釈フェーズを入れることで,認識対象の柔軟性や学習の効率向上が図れます。骨格抽出技術は,人物の骨格を構成する間接点座標を抽出し,人物ごとにまとめる技術です。
NECでは,パブリックセーフティへの応用として,広角での映像(低解像度の人物),混雑(重なりがある人物)に対応した独自の姿勢推定技術を開発しています。また,骨格の違いに着目したルールにより,座り込み,転倒,手上げなどの行動の区別や,骨格に基づく行動の類似検索を可能にしています。
<次ページへ続く>
NEC バイオメトリクス研究所 研究マネージャー 西村 祥治
2000年京都大学大学院情報学研究科修士修了,2017年東京工業大学大学院情報理工学研究科博士課程修了,工学博士。2000年にNEC入社,HPC,データベース,画像認識,映像検索の研究開発に従事。2011年米国カリフォルニア大学サンタバーバラ校客員研究員。2019年情報処理学会業績賞受賞。