1つのカメラがインフラ点検の救世主? 改良を重ねて完成した現場を支えるAIとは

2020/02/12 Toshiba Clip編集部

この記事の要点は...

  • 東芝は市販のカメラで距離を測定する立体認識AIを開発した
  • 従来のカラーフィルターを用いた技術の課題をクリアすべくメンバーが奮闘
  • 様々な知見を取り入れ、より現場で使えるAIへ
1つのカメラがインフラ点検の救世主? 改良を重ねて完成した現場を支えるAIとは

道路やトンネル、鉄塔など社会インフラの老朽化と点検業務の人手不足が進む中、遠隔操作によるドローンやセンサーなどのテクノロジーを活用して老朽インフラの点検、補修を進める動きも活発だ。作業効率や安全面・コスト面でドローンを使った点検にかかる期待は特に大きい。

 

しかし、ドローンによるインフラ点検には課題もある。例えば、鉄塔をドローンで撮影したとしよう。ドローンに搭載されるカメラは鉄塔のサビと樹木の紅葉を正確に見分ける必要がある。人間が見ればどちらか見分けるのは簡単だが、カメラは似た色を認識すると、見たい部分だけをうまく切り取ることができない。切り分ける方法としては、カメラと物体の距離を測ることだ。カメラ自身が見たいもの(サビ)が手前、背景は奥、と認識することができれば、見たい部分を切り取ることができる。

 

現場で使える技術にするため、各社で開発が進む。

 

東芝は、小型カメラを使用する独自の距離測定技術を研究し、この問題に挑んでいる。それは市販のカメラで高精度に画像撮影と距離検出をこなすというものだ。従来距離測定で使用されていた大型のステレオカメラや高コストなミリ波レーダー、赤外線・超音波センサーと一線を画し、市販のカメラ1つで距離が測定できれば、インフラ点検の現場への大きな手助けになるだろう。

 

ディープラーニングなどのテクノロジーを使いこなし、これまで培った技術と知見で世界初の技術を目指す――研究開発センターでプロジェクトを進めるメンバーの試行錯誤を追う。

カメラを改造することなく距離が測れないか? 従来技術を越えて進め

2016年、東芝はカラーフィルターをカメラのレンズに挿し込むことで距離を測定する技術を開発した。このイノベーションに開発陣は大きな手応えを感じた。

 

自動運転、ドローンへの応用にも期待大 市販の1ショットで画像と距離を同時撮影!

 

これは、カメラレンズの開口部に2色のカラーフィルターを内挿し、被写体への距離に応じて発生する画像ボケに「色」を加え、ボケの「色」と「大きさ」を分析することで距離を検出するというものだ。SNS上で反響を呼んだだけではなく、様々な企業から問い合わせも受けた。しかし、研究開発センターで本技術の開発を主導したメディアAIラボラトリー主任研究員 三島直氏は社会実装に向けた課題に直面していた。

株式会社東芝 研究開発本部 研究開発センター メディアAIラボラトリー 主任研究員 三島 直氏

株式会社東芝 研究開発本部 研究開発センター メディアAIラボラトリー 主任研究員 三島 直氏

市販のカメラでステレオカメラ並みの高精度な距離測定を実現できたのは、カメラのレンズにカラーフィルターを内挿するからです。新技術への期待をひしひしと感じていましたが、インフラの現場などでの活用を考えると、このカラーフィルターの存在が課題にもなると思われました。レンズにフィルターを入れて改造するという手間とコストが発生するからです。また、フィルターを挿し込むことで一部の光が遮断され、画像が暗くなってしまうのもウィークポイントでした」

 

社会実装に向けた汎用化を目指す三島氏は、ひとまずディープラーニングの活用を模索した。カラーフィルターによる画像ボケは位置や色に応じて非常に複雑な変化をもたらす。人力で構築するアルゴリズムでは到底太刀打ちできない。

 

「画像のボケは光学的に非常に複雑な変化をしますから、人手によるチューニングでは限界があります。AIの力を借りなければ、これから先に進むことはできないと判断し、位置と色で複雑に変化する画像ボケをレンズごとに学習できるディープラーニングの活用に舵を切りました。
プロジェクトには新たなメンバーとして光学デバイス分野での実績と知見を豊富に持つ柏木さんを迎え、カメラとAIのシームレスな連携を目指しました」

新メンバーの気づきから見えたブレイクスルー

三島氏は立体認識AIの開発に注力し、柏木氏はカラーフィルターの最適化に臨む。距離測定をより汎用的なものにするため、開発に挑む中、柏木氏の口から意外な一言が飛び出した。

株式会社東芝 研究開発本部 研究開発センター メディアAIラボラトリー 研究主務 柏木 正子氏

株式会社東芝 研究開発本部 研究開発センター メディアAIラボラトリー 研究主務 柏木 正子氏

「検討を重ねるうち、もしかしたらカラーフィルターは要らないんじゃない? そんな気づきが生まれました。物体がレンズによって像を結ぶ場合、元の物体と同じにならずに歪み、ボケを生じることを収差といいますが、収差は距離に依存します。距離に応じてボケが変化するのであれば、収差を測ったら距離が測定できるのではないか?と考えたのです」(柏木氏)

 

実際にボケを分析してみると、ピント位置の前後で形状に大きな違いがあることが分かった。この形状を解析できれば、通常レンズでも距離が測定できる。

収差マップ3Dの原理

柏木氏の気づきを、三島氏が開発するディープラーニングが一気に進展させた。収差は位置、色に応じて複雑に変化する。そこで、複雑に変化する収差を適切に捉えるため、位置と色の情報を個別に処理する「アテンション」と呼ばれる機構を開発した。どこに重点を置けば正しい距離が測定できるのかを制御するようにしている。この独自のアテンション機構により、カラーフィルターを入れることなく、市販のカメラのみでスムーズに距離を測定できる基盤が見えてきた。

 

「カメラのレンズは『収差をなくそう』という方針で設計されます。つまり、これまでは収差は悪者、邪魔者として扱われていました。しかし、どんなに頑張っても収差をなくすことはできません。だったら、収差を邪魔者ではなく情報として考えてみたらどうだろう?そんな発想の転換がブレイクスルーになりました。ディープラーニングの活用によって、より汎用的な距離測定の仕組みができたのも大きいですね。デバイスにもソフトウェアにも限界はありますが、マッチングさせたら乗り越えられる。そんな実感がありました」(柏木氏)

 

「被写体の形状や背景といった風景情報をディープラーニングによって学習し、市販のカメラで距離を推定する技術の研究は以前から活発です。ただ、それらは学習した風景情報と異なる背景で撮影すると著しく精度が低下するのが弱点です。私たちが開発した技術は風景知識に依存せず、ボケの情報という物理的な手掛かりのみに基づくため、高い汎用性を備えています」(三島氏)

ヘリの撮影画像

 

ドローンの撮影画像

汎用性、独自機能が世界で高評価。社会実装の道筋も見えた

本技術では、採用するカメラに応じた距離情報の学習が必要だ。三島氏らは、社内のスペースを利用し、12mに及ぶスライドステージを作成した。ピントを合わせた市販カメラをスライドステージ上で動かし、テレビに写した画像がどのようにボケて見えるのかのというパターンを学習した。こうしてアテンション機構によって予測した距離と実際の距離の誤差を縮めるよう、地道にネットワークを更新し、立体認識AIとしての精度を高めていった。

ディープラーニングを行うラボ風景

ディープラーニングを行うラボ風景

ブラッシュアップを重ね、市販のカメラで撮影した1枚の画像から、ステレオカメラ並みに高精度な距離測定が可能な立体認識AIが姿を表した。高精度であり、なおかつ省コスト、省スペースな距離測定のあり方が焦点を結ぶ。三島氏、柏木氏は2019年10月、韓国で開催されたInternational Conference on Computer Visionで本AIの成果を発表。コンピュータービジョン分野のトップカンファレンスで大きな注目を集めた。

 

今後は多様なカメラ、レンズで汎用性を確認していく方針で、画像処理システムの高速化も視野に入れる。早期の実用化に向けてチームの士気は高まる一方だ。

 

カラーフィルターを用いた撮像技術からスタートした取り組みの一つの到達点が見えたと感じています。評価いただいている汎用性を今後も意識しつつ、さらに高いレベルの仕組みで世の中に出していければと思います」(柏木氏)

 

「独自性と汎用性の高さを評価いただき、数社と概念実証(PoC)を進めています。車載カメラ、監視カメラなどのニーズも寄せられていますが、カメラが小型化するとボケが発生しにくくなるという課題があります。画像処理の精度とカメラ、レンズの汎用性の兼ね合いを考えつつ、社会実装に向けて進んでいければと思います」(三島氏)

 

従来技術の課題をクリアし、求められる社会ニーズに応える一手は、AIとデバイスへの深い知見、脈々と培われた技術の集積から生まれた。ドローンに搭載したカメラによるインフラ点検、さらにはロボットによる物品のピックアップ、工場内の無人配送車の自律移動など、様々なニーズに応えるべく、着々と歩みは進む。

Related Contents