パソコンでチャットやテレビ会議などでカメラを使ったことがあるという人は多いと思います。なかには流行りの動画配信をしている人もいるかもしれませんね。
もともとパソコンに内蔵されているカメラを使用する人もいれば、外付けでWEBカメラを購入している人もいることでしょう。
今回はそんな一般的に使用されるWEBカメラではなく「デプスカメラ」をご紹介していくわけですが、一般的なWEBカメラと何が違い、そもそも何ができるのか意外と知られていないのではないでしょうか？
※デプスカメラが内蔵されているパソコンもあります。
簡単にわかりやすく解説をしていくので是非とも参考にしてもらえればと思います。
そもそもデプスカメラとは？
一般的にはあまり馴染みのない「デプスカメラ」ですがそもそも一体全体なんなのか。ここではデプスカメラについて簡単に説明をしていきますね。
デプス(Depth)とは「深さ(深度)」や「奥行き」を表す英単語。一言で言ってしまえばデプスカメラというのは「深度カメラ」のことを指すのです。
これではあまりに味気がないのでもう少しだけ掘り下げて説明をすると、デプスカメラは深度センサーを内蔵していて、奥行きの情報を取得することができます。
つまり、一般的なWEBカメラが2D(平面)の情報のみであるならば、デプスカメラは3D(立体)の情報を取得することができるカメラなのです。
デプスカメラでできることは？(ゲーム編)
デプスカメラは「奥行き」の情報を取得できるカメラであるということは分かったけど、「で、奥行きの情報を取得できるとどうなのよ？」という疑問を持たれることかと思います。
ごもっともなご意見です。
ここではポピュラーな事例であるテレビゲームで紹介をしていきますね。
かつてXboxとセットで売られていたこともあり、ゲームが好きな人は「もしや…」と感じられているかと思いますが、その「もしや…」です。ゲーム好きではなくとも勘の良い人はお気付きでしょう。
そう、デプスカメラを用いて3Dの情報を取得し処理することで物理的なコントローラーを使用せずにジェスチャーや音声認識でプレイすることができるのです。
ゲームセンターでもデプスカメラを用いたゲームがあるので、家でゲームをしないという人はそちらで体験してみましょう。
デプスカメラでできることは？(スマホ編)
「ゲームに興味ないから自分はデプスカメラにご縁がない…」という人にはゲームよりポピュラーなスマホでご紹介をしていきましょう。
iPhone X以降を使用している人は内側カメラの部分に注目をして欲しいのですが、様々なものが大量に埋め込まれていますよね？これは「TrueDepthカメラ」のセンサーが配置されているのです。
その埋め込まれているものは左から順に以下のようになっています。
- 赤外線カメラ
- 投光イルミネーター
- 近接センサー
- 環境光センサー
- フロントカメラ
- ドットプロジェクター
さて、これだけのセンサーやカメラが埋め込まれているのですが一体何に使われているのか？それは「Face ID」とも呼ばれる顔認証システムです。
通常の顔認証システムとTrueDepthカメラの違いはトラッキング能力の高さにあります。
※トラッキング…データを継続的に追跡することを指します(ここでは人の行動)。
つまり、従来の静止画としての顔認証ではなく、目や口、表情といった顔の動きを連続して捉えることができるのです。
これはスマホでモーションキャプチャーが実現しているということを指します。
モーションキャプチャーというと、モジモジくん(知らない人は検索してくださいね)のような全身スーツに特殊な塗料やセンサーを付けて行う大がかりでかつ高額なものです。
それがスマホサイズで実現されているのです。
TrueDepthカメラは顔認証システム以外にも、自身の顔写真を撮影し、それをアニメーション(動く絵文字)に作り替えるといったスマホアプリやVTuberの動画配信にも役立っています。
デプスカメラでできること(ロボット編)
さて、ゲームやスマホといった身近なものからのご紹介でデプスカメラに親近感が湧いてきた頃かと思います。
ここまではゲームやスマホといった私たちが使用するデバイスでしたが、ここではロボットでの使用についてご紹介をしていきます。
近年ロボット開発が進み介護や医療の場で活躍が見込まれていますが、これらロボットの「目」にもデプスカメラが用いられています。ちなみに、みなさんご存知Pepper君の目にも使われていますよ。
IntelからはRealSense深度カメラを備えているロボット向け組み込みコンピュータ「Euclid」が発売されており、センサーとして加速度センサー、コンパス、ジャイロスコープ、環境光、近接センサー、高度計、湿度計、気温計、温度計等を備えています。
今後まだまだ発展をしていくデプスカメラですが、人間顔負けの処理をするスーパーロボットが誕生するのもそう遠くない未来かもしれませんね。
デプスカメラの成長性と周辺の産業構造はどうなっている？
ここまでデプスカメラの事例を紹介してきましたが、その成長性も気になるところですよね。ここではデプスカメラの成長性について確認をしていきましょう。
前述してきているようにデプスカメラでは、物理的なコントローラー無しでゲームができたり、スマホでモーションキャプチャーができるようになってきていたりしています。ロボットに使用されている話なんかも未来的でワクワクしますよね。
例えば、デプスカメラでできることが拡大することで、人型ロボットがより人間に近い動きが可能になり、SF映画で見るような人と見分けがつかないようなアンドロイドが完成するかもしれません。
実際、フィギュアの技術はパッと見て人間と見分けが付かないようなところまで進んできています。その外装に人間の目と同等、あるいはそれ以上の機能を備えたデプスカメラが実装されたらどうなるでしょう。
ますます、結婚率や晩婚化が進みそうですね。アンドロイドと結婚なんてことも話題に上がる日も来るかもしれませんね。
冗談はさておき、現在でも医療現場で遠隔地の手術をリモートで行う技術がありますが、デプスカメラの精度が上がることで、より緻密な手術が可能になる可能性があると言えるでしょう。
また、自動車の安全装置においてもデプスカメラの性能が上がれば衝突による事故がゼロになる日が来るかもしれません。
さらには、デプスカメラが進歩すればテレワークもより発展し、テレビ会議も単なる画面越しの映像ではなく、ホログラムのような立体的な映像で行うことも可能かもしれません。
こうした可能性を秘めているデプスカメラは将来性が高いと言えるでしょう。
また、デプスカメラはロボットや自動車製造のような工業系産業が中心のように思われがちですが、前述したように医療の場でも活躍が見込めます。
このように映像(画像)を必要とする職種、もっと大きく言えば「目を必要とする」職種において活用が可能です。
世の中を見てみると「目を必要とする」職種はごまんと存在しています。
つまり、産業構造で見ても多岐に渡って導入が見込めると言っても過言ではないでしょう。
デプスカメラに必要な技術
既に日常に溶け込み始めており、将来性も高いデプスカメラに興味を持ち始めた人もいることでしょう。ここではデプスカメラに触るうえで必要な技術の一部を簡単に紹介していきます。
【3Dセンサについて】
まずはデプスカメラの要と言っても良い3Dセンサについて学びましょう。
最近では3Dセンサの入手も容易になってきましたが「ステレオカメラ方式」や「ToF(Time-of-Flight)カメラ方式」という技術を用いたものが主流となってきています。以下、それぞれについて簡単に説明をしますね。
<ステレオカメラ方式>
2つのカメラで構成されており、それぞれの視差情報から奥行きを算出する方式です。ステレオカメラ方式では一般的なカメラを使用するパッシブ方式と、暗い環境かでも撮影できるよう赤外線を発光するアクティブ方式があります。パッシブ方式の場合、絞りが小さいレンズを使用する必要があるのですが、少々お値段も張るのがネックです。
< ToF カメラ方式>
カメラから近赤外線を発光し、対象から反射して戻ってくるまでの時間を測定することで奥行きを算出する方法です。
従来のToF カメラは近赤外線の波長が850nmであり、発光時に赤く見えたり屋外では太陽の赤外線の影響を受け性能が落ちたりしていましたが、近年では波長が940nmの高出力なLEDが開発されデメリットが解消されています。
【データ処理の方法について(OpenCV)】
3Dのデータを取得するだけでは意味がなく、当然それを処理する方法も学ぶ必要があります。ここでご紹介するのはIntelが開発したOpenCVです。
簡単に説明をすると、OpenCVは画像の処理や解析、機械学習といった機能を持つオープンソースのライブラリで、基本的に無料(ここ大事)。しかも学習用として用いるだけではなく商用目的で利用もできるという優れものなのです。
開発言語においてもPythonやC/C++、JavaやMATLAB用が用意されているのでどれかしらの言語を触ったことがある人であれば直ぐにでも使用することができるでしょう。
OpenCVでできることについても簡単にご紹介しますね。
- 画像の読み込み/表示/作成/保存
- 画像のトリミングやリサイズ、重ね合わせといった加工
- モザイクやマスク処理、画像の合成
- ノイズ除去や平滑化などのフィルター処理
- 物体検出
- 機械学習
など。
OpenCVの他にもGravioを使用するのもオススメです。
Gravioに内蔵されているML/AI機能を利用すれば、取得した画像データを推論エンジンでデータ生成することも可能です。例えば画像に映っている人物の性別や年齢を推論でデータ化をするなどが挙げられます。
デプスカメラで得た情報の用途別にOpenCVやGravioのように使い分けていくと良いでしょう。
まとめ
私たちの身の回りにも多用されているデプスカメラをもとに、できることをご紹介してきましたがいかがでしたでしょうか？
本記事内ではApple(iPhone)やIntelについて触れましたが、Googleでも2D動画から深度マップを作成する技術などが開発されています。
今後も開発が進み、より進化をしていくことで3Dの構築だけではなく、ARやVR、自動車の安全性能の向上など様々な分野でのコンテンツの拡充に役立つことでしょう。
既に気軽に手が届くお値段で販売されているので興味がある人は遊んでみて下さいね！
