セミナーレポート
人と人の共感・連携を促しチームパフォーマンスを高める “Sensing & Control+Think”技術 -オムロンが描く「人と機械の融和」の一形態について-オムロン(株) 技術・知財本部 ロボティクスR&Dセンタ 水山 遼
本記事は、画像センシング展2022にて開催された特別招待講演を記事化したものになります。
第7世代卓球ロボットの新機能
神経科学の知見では,相互理解には2つの重要な要素があります。1つめは①感情の同調,2つめは②意図や能力などの理解です。卓球の場面で考えてみると,①感情の同調というのは一緒にラリーを続けられることで,互いの成功を喜び合えており,相手と一緒にいることが楽しいといった感情が共有されている状態です。②意図や能力の理解というのは,相手が返せそうな強さで打とう,相手がついてこれそうなレベルでラリーをしようといった行動として表れると思われます。こうした①共感と②連携という2要素が重要と考えました。今回の卓球ロボットでは,ダブルスプレイヤーの共感度と連携度をロボットがセンシングし,それに最適な返球計画を立てる機能を開発しました。共感度は,顔画像から計測した表情,瞬目頻度,心拍数,心拍変動を用いて算出を行っています。共感度推定を行うための顔画像の検出では,卓球ロボットでは卓球台中央にネットディスプレイと呼ばれるものを置き,真ん中に高精度カメラを置いています。それとOKAO® Visionという顔認識ソフトウェアを使い,人の顔画像を高精度に検出しています。OKAO® Visionは,世界で15億台以上の出荷実績があり,マスクをしていても表情が認識できます。人が共感したときは身体の反応も同調するという社会生理学の理論があり,こうした表情,瞬目頻度,心拍数,心拍変動の同調度から共感度を算出しています。
また,連携度を算出するため,ボール速度など打球情報に基づく相手プレイヤーへの思いやり度と,ダブルスプレイヤーの骨格情報に基づく動作同期度から認識しています。そして,これらの共感度や連携度を高める最適な難易度を推定し,返球速度計画と返球実行を行ったのが第7世代の新機能の1つです。
今後の展望としては,「人が活きるオートメーション」の在り方を卓球ロボットで実現していき,その理念や世界観に共感いただけるパートナーを社内外問わず募り,連携していけるオープンイノベーションプラットフォームになればと考えています。
オムロン(株) 技術・知財本部 ロボティクスR&Dセンタ 水山 遼
2014年 大阪大学理学部生物科学科卒業2016年 大阪大学大学院生命機能研究科 博士前期課程修了
2018-2019年 日本学術振興会 特別研究員
2019年 オムロン株式会社 技術・知財本部 ロボティクスR&Dセンタ(現職)