自動運転、ドローンへの応用にも期待大 単眼1ショットで画像と距離を同時撮影!
2017/01/25 Toshiba Clip編集部
この記事の要点は...
- 小型・低コスト・高精度の3拍子そろったセンシング
- レンズ、画像解析2つの工夫が鍵
- 「発想の転換」がSNSでも称賛をあびた新技術
開発者に直撃!単眼カメラで画像と距離を同時取得できる新技術はこんなにスゴかった。
インフラを点検するドローン搭載カメラ、自動運転に関連した車体全周カメラなど、移動体に搭載するカメラ、センシング技術のニーズが高まっている。
そこで求められるのは「画像の取得」と「距離の検出」だ。
しかし、従来方式の中では、ステレオカメラは大型化が避けられないし、ミリ波レーダーや赤外線・超音波センサーは追加でカメラが必要で、しかもコストが高い。
3次元形状から距離を取得するSfM(Structure from Motion)技術は動物体への対応が難しく、人物などを認識して距離を推定する2次元画像認識は高い精度を出すのが難しいと一般的には考えられている。
そこで、今回紹介するのは、単眼カメラ一台で、つまり小型・低コストのカメラでも高精度に画像撮影と距離検出ができる東芝の新技術。
将来的に自動運転、ドローンのこのような課題解決の切り札となるかもしれない。
2016年6月に本技術を発表した後、問い合わせ、見学の申し込みが相次いだが、さらに開発陣が驚いたのはTwitterをはじめとするSNS上での反応だ。
タイムラインには画期的なイノベーションへの期待、興奮がズラリと並んだ。
本技術の開発を手がけた研究開発センター マルチメディアラボラトリー主任研究員 三島直氏に、SNS上で「バズった」新技術の手ごたえ、反応を聞いてみよう。
1回の撮影で取得した2つの画像を解説していただいた。
東芝 研究開発センター マルチメディアラボラトリー主任研究員 三島直氏
「開発者として、もともと技術に理解がある人たちのリアクションは織り込み済みでしたが、SNSを見ると一般のガジェット好きの人にも響いたようで、従来よりもはるかに広範な反応がありました。これは正直、予想外でしたね。
『すごい』が並ぶタイムラインの中には、単眼とステレオ撮影をアニメのザクとガンダムの対比になぞらえた、興味深い反応もありました。新技術が伝わっていく媒体、メディアは徐々に変わりつつあるのだな、とも感じています」
経済界に強い発信力を持つメジャー媒体を経由してではなく、プレスリリースからネット媒体を経由し、SNSで話題になった。
情報の拡散には、専門外の方にも分かりやすさが好評だった。
今回ご紹介するカラー開口撮像技術。詳しい知識がなくとも分かりやすく解説されている。
この動画は2016年6月7日に公開されたものです。
タイムラインが湧いた! ブレイクスルーをもたらす「発想の逆転」とは
本技術を開発したのが、三島氏をはじめとする研究開発センターのマルチメディアラボラトリー。
テレビの技術開発からカメラなどの画像処理に軸足を移し、「イメージセンサーの次の一手」を模索してきた。
ラボが注目したのは、今回の撮像技術のように、「コンピュテーショナルフォトグラフィ」というジャンル。
2014年から本技術に着手して試行錯誤を続ける中、「ぺらぺらした、ごく普通の」カラーフィルターをカメラに内挿することが大きな一歩になった。
「本技術は、基本的にはレンズの工夫と、画像解析の工夫を組み合わせて実現しています。
レンズの工夫はレンズの開口部に水色と黄色のフィルターを入れてカメラに装着することだけ。これで被写体を撮影すると、距離によって発生するボケに色がつきます。ピントの手前と奥で色のボケ方が反転するため、画像処理によってボケの色と大きさから距離を検出できるのです。
トランプの9を奥、8を中間、7を手前に並べて撮影。
独自のカラーフィルタと画像処理により、単眼カメラの1フレームからカラー画像と距離画像を同時取得。
距離の差によってボケの色と大きさに差が出る。
ボケ復元による距離推定など、主要な仕組みについては特許を出願中です」(マルチメディアラボラトリー 森内優介氏)
SNS上では、ドライブレコーダーや自動ブレーキシステムといった車載化、そしてスマホの3Dスキャン、360度カメラといった身近なデバイスへの転用といった話題も語られている。
クリアすべき課題もあるが、ネットユーザーたちの熱い期待も、有力なブースターになるだろう。
東芝 研究開発センター マルチメディアラボラトリー 森内優介氏
蓄積された技術、そして開発者の豊かなバックグラウンドが技術成果に
開発上のブレイクスルーになったのは、ごく普通のカラーフィルター。しかし、バックグラウンドには、同ラボがテレビやイメージセンサーの開発で培ってきた画像処理技術がある。
単眼カメラの撮像新技術という成果は、あくまで同ラボが開発でトライアルアンドエラーを積み重ねてきた延長線上にあるのだ。
「私は画像処理のアルゴリズムを年がら年中考えているような技術者で、カラーフィルターの内装を発案した森内はレンズの工夫に長けた技術者です。チームメンバーの妙が作用したのかもしれませんね。
あと一つ見逃せないのは、森内がカメラ好きだったり、ムービーを作ってくれたスタッフがアート好きなクリエイター指向だったりしたこと。
カメラに変なボケが入ると許せないよね、という着想が『ボケを補正して距離を検出する』アプローチに結実しました。
皆さんに注目していただける新技術として発表できたのは、メンバーのさまざまなバックグラウンドが活かせたからだと思います」(三島氏)
ごく普通の”ぺらぺら”なフィルターをカメラにプラスオンすることで、まったく新しいアウトプットに。この革新的な技術は、多様な経験とスキルを持つ人材の多彩なバックグラウンドが有機的に結合して生まれた。
今後も、さまざまな人々の化学反応によって、応用の可能性が広がっていくだろう。
ガンダムは株式会社創通の登録商標または商標です。