単眼カメラで撮影した1枚の画像から距離計測できる撮像技術(株)東芝研究開発センター・マルチメディアラボラトリー 三島 直,森内 優介
- 説明文
- 写真
近年,ロボットによるピッキングや工場での無人搬送車の自律移動,ドローン遠隔操作によるインフラ点検など,画像センシングの重要性が増している。これらの用途では,2次元の画像を撮影するだけでなく,対象物の形状,動き,距離などの動的な3次元空間の把握が必要となる。以前から,ステレオカメラや超音波センサー,LiDARなど,さまざまな距離検出方式が提案されているが,装置の小型化と高精度な検出を両立するのは困難だった。そこで小型化しやすい単眼カメラに着目し,レンズにシアンとイエロー2色のカラーフィルター(カラー開口と呼ぶ)を内挿し,撮影画像に物体距離に応じた色付きのぼけを生じさせ,ぼけの色と大きさに基づいて距離を算出する独自の画像処理技術を組み合わせることで,単眼カメラを用いてステレオカメラ並みの高精度な距離検出が可能な技術を開発した(図1)。
距離計測の原理について図2,3を用いて詳しく説明する。図2に示すとおり,ピントより奥ではシアン側の光がイメージセンサーでは左方向に広がり,イエロー側の光が右方向に広がるのに対して,手前側の物体ではその方向が逆となる。このように色の方向から被写体がピント位置の前後どちらに存在するかが判断できる。また図3に示すとおり,シアンとイエローのカラーフィルターでそれぞれR(赤)とB(青)の成分を遮蔽するとともに,G(緑)の成分はそのまま透過させ,RGBそれぞれの成分に生じたぼけ形状を一致させる変換処理により距離を求める。具体的には,RとBに生じた非対称なぼけをGの対称なぼけに変換する補正フィルター処理を行う。このような変換処理をサブ画素レベルの細かさで行うことで,人間の眼では視認するのが困難な小さなぼけからも精度良く距離を検出できる。以上により,通常のカラー画像を撮影するのと同時に高精度な距離検出が可能となる。
市販のデジタル一眼カメラにカラー開口を組み込んだ試作機を用いて距離計測精度を評価したところ,我々の実験室環境下においてステレオカメラと同等であることを確認した1)。図4に屋外で実際に撮影した結果を示す。手前の木から人物,奥の木までしっかりと立体物が分離できていることが確認できる。
本技術は,カラー画像と距離情報の同時センシングを必要とする様々な分野での活用が期待できる。まだ原理検証できた段階であり,今後小型レンズでの検証や回路化の検討などを進め,将来の実用化を目指し,研究開発を続けていく。
参考文献
1)森内, 三島,“カラー開口を用いたDFD技術”, 第22 回画像センシングシンポジウム, IS1-34, 2016
距離計測の原理について図2,3を用いて詳しく説明する。図2に示すとおり,ピントより奥ではシアン側の光がイメージセンサーでは左方向に広がり,イエロー側の光が右方向に広がるのに対して,手前側の物体ではその方向が逆となる。このように色の方向から被写体がピント位置の前後どちらに存在するかが判断できる。また図3に示すとおり,シアンとイエローのカラーフィルターでそれぞれR(赤)とB(青)の成分を遮蔽するとともに,G(緑)の成分はそのまま透過させ,RGBそれぞれの成分に生じたぼけ形状を一致させる変換処理により距離を求める。具体的には,RとBに生じた非対称なぼけをGの対称なぼけに変換する補正フィルター処理を行う。このような変換処理をサブ画素レベルの細かさで行うことで,人間の眼では視認するのが困難な小さなぼけからも精度良く距離を検出できる。以上により,通常のカラー画像を撮影するのと同時に高精度な距離検出が可能となる。
市販のデジタル一眼カメラにカラー開口を組み込んだ試作機を用いて距離計測精度を評価したところ,我々の実験室環境下においてステレオカメラと同等であることを確認した1)。図4に屋外で実際に撮影した結果を示す。手前の木から人物,奥の木までしっかりと立体物が分離できていることが確認できる。
本技術は,カラー画像と距離情報の同時センシングを必要とする様々な分野での活用が期待できる。まだ原理検証できた段階であり,今後小型レンズでの検証や回路化の検討などを進め,将来の実用化を目指し,研究開発を続けていく。
参考文献
1)森内, 三島,“カラー開口を用いたDFD技術”, 第22 回画像センシングシンポジウム, IS1-34, 2016