毎秒150コマで撮影できるリアルタイムステレオビジョン東京工業大学 實吉敬二
- 説明文
- 写真
自動車や移動ロボットにとって,衝突を避けることは本質的に重要なことである。そのためには衝突の恐れのある物体を早期に発見しなければならない。リアルタイムステレオビジョンは広い視野で複数の物体を同時に発見し,その位置や大きさ,形状を短時間で得ることができる。この特性は障害物センサーとして最適である。
ステレオビジョンの抱える問題は,視差画像を得るための処理量の多さとそれに伴う処理時間の長さ,2 台の校正の取れたカメラで撮像することによるコスト高,さらに夜間や悪天候での性能の劣化である。しかしこれらの問題はハードウエア,ソフトウエアの急速な進化のおかげで次第に問題でなくなりつつある。そこでわれわれは,これらの最新技術とこれまでわれわれが培ってきたステレオ処理技術を駆使して,リアルタイムステレオビジョンの高性能化に挑戦した。
使用したカメラは1312×1024 画素のCMOSカメラである(図1)。上下方向に視野を広げる必要はないので縦方向を688 画素に縮小し,フレームレートを110fpsから150fpsに高速化している。ステレオ処理といわれるものには,左右の画像から同一パターンを見付けて視差を求めるステレオマッチング処理のほか,前処理としての歪み補正やカメラ校正に伴う画像変換,後処理として弱パターン部分や特異点の除去を含む。これらの処理はすべて1チップのFPGA(Field Programmable Gate Alley)でパイプラインで行った。さらにもっとも処理量の多いステレオマッチングは同じ回路を4つ並列に動作させ,処理時間を短縮した。処理速度はカメラの取得速度と同じ150fpsを達成している。
視差画像を見れば分かるように,立体物は類似した視差のグループになっているので,このグループを抽出することで立体物を見付けることができる。通常の画像からの抽出に比べれば圧倒的に簡単である。さらに視差画像から道路面の形状も分かり,元の画像と組み合わせることで白線も信頼性高く検出できる。これらの情報から障害物となりそうな物体を識別する。
これらの結果を図2から図4に示す。実際にはリアルタイム処理のために画像を残すことはできないが,掲載するために元画像を取得してオフラインで処理した。図2が元画像で,図3が視差画像,図4が抽出した立体物である。視差画像は色で視差を表示している。このように前方の車に限らず,ガードレールや側壁,中央分離帯などの立体物が高分解能で検出されている。さらに道路面まで検出されていて,リアルタイムステレオカメラの魅力がお分かりいただけよう。
ステレオビジョンの抱える問題は,視差画像を得るための処理量の多さとそれに伴う処理時間の長さ,2 台の校正の取れたカメラで撮像することによるコスト高,さらに夜間や悪天候での性能の劣化である。しかしこれらの問題はハードウエア,ソフトウエアの急速な進化のおかげで次第に問題でなくなりつつある。そこでわれわれは,これらの最新技術とこれまでわれわれが培ってきたステレオ処理技術を駆使して,リアルタイムステレオビジョンの高性能化に挑戦した。
使用したカメラは1312×1024 画素のCMOSカメラである(図1)。上下方向に視野を広げる必要はないので縦方向を688 画素に縮小し,フレームレートを110fpsから150fpsに高速化している。ステレオ処理といわれるものには,左右の画像から同一パターンを見付けて視差を求めるステレオマッチング処理のほか,前処理としての歪み補正やカメラ校正に伴う画像変換,後処理として弱パターン部分や特異点の除去を含む。これらの処理はすべて1チップのFPGA(Field Programmable Gate Alley)でパイプラインで行った。さらにもっとも処理量の多いステレオマッチングは同じ回路を4つ並列に動作させ,処理時間を短縮した。処理速度はカメラの取得速度と同じ150fpsを達成している。
視差画像を見れば分かるように,立体物は類似した視差のグループになっているので,このグループを抽出することで立体物を見付けることができる。通常の画像からの抽出に比べれば圧倒的に簡単である。さらに視差画像から道路面の形状も分かり,元の画像と組み合わせることで白線も信頼性高く検出できる。これらの情報から障害物となりそうな物体を識別する。
これらの結果を図2から図4に示す。実際にはリアルタイム処理のために画像を残すことはできないが,掲載するために元画像を取得してオフラインで処理した。図2が元画像で,図3が視差画像,図4が抽出した立体物である。視差画像は色で視差を表示している。このように前方の車に限らず,ガードレールや側壁,中央分離帯などの立体物が高分解能で検出されている。さらに道路面まで検出されていて,リアルタイムステレオカメラの魅力がお分かりいただけよう。