あの研究室はどんな研究をしているのだろう？　そんな疑問に答える“研究室探訪”。
今回は，東京電機大学 知能機械システム研究室にお伺いしました。

人に寄り添う画像処理・コンピュータビジョン技術の実現を目指して

　画像処理・コンピュータビジョン（Computer Vision）技術を核として，知覚情報処理，ロボット・知能機械システム，医療福祉，ヒューマンインタフェースに関わる研究を行っている。人に寄り添い，生活を安全かつ快適にする技術の実現を目指している。
　利用者と研究者・技術者の間で，最新の概念・技術に関する知識・価値認識の面での乖離が拡大しているように感じる。期待やニーズと，技術・スキルのシーズを合致させることを念頭に研究に取り組んでいる。
　様々な研究を行っているが，視覚情報を振動情報にモダリティ変換・人間に提示して脳内地図を生成させることを目指す視覚障がい者支援システムの研究，蚊やその媒介する感染症に対する知識が乏しい人への教育・啓蒙のために画像から蚊の種を識別する研究，人間同様の笑いを引き起こすキャプションを生成するNeural Joking Machineの研究の三つを紹介する。

［研究テーマ1］振動で世界を伝える! 視覚－振動モダリティ変換による視覚障がい者支援

　歩行時に視覚健常者が環境中を自由に移動できるのは，包囲光配列の光学的流動（オプティカルフロー）として視覚的な変化・差分情報から移動可能な空間情報を取得しているからである。光学的流動を模擬した触覚情報により空間の変化・差分情報を提供することで，脳内地図を生成させ，視覚障がい者の歩行を支援する研究である（図1（a））。
　ウェアラブルデバイスを準備した（図1（b））。ヘルメットを使用し，頭頂部に距離情報取得のための2次元距離センサを搭載，振動刺激用に前額部から側頭部にかけて内部に5個の振動モータを配置する。センサは被験者前方水平断面を走査し，被験者が上下に首振りすることで3次元距離情報が得られる。視覚情報としての距離情報の変化・差分に基づき，触覚情報としての振動にモダリティ変換して，ユーザに提示する。これまでに，「距離定位: 垂直面に対する一定距離の把握」に関しては，一定の知見が得られつつある。
　視覚障がい者の行動支援のために周囲の環境をセンサ（カメラ，超音波，レーザ）で計測し，コンピュータで処理・認識して振動や音でユーザに通知するシステムは多数ある。本研究は「環境情報を機械に解釈させずに人間に解釈させる」というスタンスであり，加えて，光学的流動を模擬した変化・差分をフィードバックする部分に独自性がある。

図1　視覚－振動モダリティ変換による視覚障がい者支援

［研究テーマ2］この蚊はなぁに? 画像からの蚊の種識別

　画像から蚊の種を特定する研究である。蚊は重大な感染症を媒介する危険生物である。活動時間帯，習性，媒介感染症が異なり，効率的な駆除や感染症予防のためにも種識別が重要となる。吸血する蚊のうち，代表的なヤブカ属のヒトスジシマカ，ハマダラカ属のアノフェレス・ステフェンシ，イエカ属のアカイエカの三種類を対象とする（図2）。
　蚊の画像を撮影，アノテーションを施し，14,400枚のデータセットを構築した。Convolutional Neural Network（CNN）ベースの深層学習手法により，潰れていない蚊対象・白色背景下では95％以上の識別率を達成した。現在，潰れた蚊対象・手のひらの上といった比較的複雑な背景下にも対応できるよう研究を進めている。
　本研究は，熱帯病の権威から賛意を得ている。蚊をモバイル端末のカメラで撮影し，その画像から種を特定可能とする画像処理アプリケーションがあれば，特にアフリカや東南アジア，中南米など感染症が多い地域において，蚊やその媒介感染症に対する知識が乏しい人への教育・啓蒙に非常に役立つとのことである。

図2　蚊の種識別の必要性と三種類の蚊
(a) Aedes albopictus（ヒトスジシマカ）
(b) Anopheles stephensi （アノフェレス・ステフェンシ）
(c) Culex pipiens pallens （アカイエカ）

［研究テーマ3］コンピュータにジョークを言わせたい! Neural Joking Machine

　単なる状況描写ではなく，人間が本当に面白いと感じる洗練された表現が可能な画像キャプション生成手法，名付けてNeural Joking Machine（NJM）を提案する研究である。データベースの構築（Collection），キャプションの生成（Joke），キャプションの評価（Assessment）の3点を実施する。
　イメージキャプショニングは，Convolutional Neural Network（CNN）とLong Short-Term Memory（LSTM）の枠組みプラスαで行った。図3にキャプション生成結果を示す（なお，教員紹介の写真のキャプションもNJMで生成されたものである）。提案手法から生成されたキャプションは，四分の三はどちらかというと面白いと評価された。すなわち人間が面白いと感じる画像キャプション生成手法の実現可能性が示唆された。
　本研究は，「コンピュータにジョークを言わせたい」という学生の冗談めいた雑談から始まった。笑いを機械的・定量的に評価する仕組み・枠組みの構築につながることを期待している。また，爆笑，嘲笑，微笑といった，量や種類が異なる笑いをもたらす画像キャプション生成の実現の可能性もある。

図3　Neural Joking Machine（NJM）によるキャプション生成結果

知能機械システム研究室より

　研究のネタは日常生活の中に転がっており，アイディアはふとした瞬間に浮かぶ。不満・不便に感じる点を「どうにかならないかなあ？」「こんなこといいな，できたらいいな」と常に漠然とでも記憶しておき，解決策を考え続けることが重要だと考える。
　最後に，学生によく言う言葉がある。「実るほど頭を垂れる稲穂かな」「鶏口となるとも牛後となるなかれ」「進め，進め」である。謙虚でありながら積極性をもち，様々な物事に貪欲に取り組んで成長して欲しい，と願っている。