エッジデバイス上で高精度な認識処理を実現する深層ニューラルネットワークのコンパクト化技術を開発(株)東芝と理化学研究所（理研）　研究グループ

　(株)東芝と理化学研究所（理研）の研究グループは，深層学習によって得られるAI である「深層ニューラルネットワーク（DNN：Deep Neural Networks）」のコンパクト化技術を開発したと発表した。本技術は，DNNの性能を維持したままで学習した結果であるパラメーターを80％削減することができ，エッジデバイス上で高精度な音声や画像などの認識処理を動作させることが可能となる。
　ニューラルネットワークは，人間の脳の生物学的な仕組みを模したAI の計算モデルであり，近年ではこのネットワークを多層構造化したDNNを用いることで，より複雑で大規模な認識処理を行うことが可能になりつつある。深層学習によって得られるDNNは人手による処理を必要とする従来の方法よりも高精度であると言われており，音声認識，機械翻訳をはじめ，自動運転向け画像認識まで様々な用途への適用が検討されている。しかし，高い性能を実現するDNNは，大規模で複雑化する傾向があり，演算能力やメモリ量が限られたエッジデバイス上で動作させることが困難だった。このような大規模なDNNをコンパクトにする技術が複数の研究機関から提案されているが，特別な処理や追加学習が必要となるなど，手間がかかることが課題となっていた。
　東芝は，深層学習を行う際に，DNNの一部のパラメーターが自動的にゼロ近傍に収束する「スパース化現象」を発見し，理研と共同でその発生原理を解明した。学習 後にゼロとなったパラメーターは認識結果に影響しないことから，学習後にそれらのパラメーターを削除することでDNNのコンパクト化を実現した。公開データセッ トを用いた実験では，本技術が，従来技術よりも認識精度の低下を抑えつつ，約80％のパラメーターを削減できることを確認した。さらに，パラメーター削減率を調 整し，DNNのサイズを柔軟に変更できる方法を開発した。
　同グループは，今後，自動運転向け画像認識システムなど様々な組み込み機器やエッジデバイスにおける高度なDNNの活用にむけて研究開発を進め，本技術の2～3年後の実用化をめざすとしている。