【Inter BEE 2016 TV】NHK放送技術研究所 画面から飛び出す！Augmented TV：拡張する映像体験　縦型ディスプレーでデジタルサイネージでの活用を提案

　NHK放送技術研究所は、テレビ画面の中の世界が画面手前の現実空間と繋がっているように見える映像表現技術「Augmented TV」（オーグメンテッドTV）をInter BEE 2016のINTER BEE IGNITIONのブースでデモした。

　AR技術を使って、タブレットのカメラをとおしてテレビを見ると、画面の中のテレビキャラクターが画面外に飛び出す演出を楽しめる。この飛び出す演出のスムーズさにこだわり、タブレット上でカメラ画像とCGキャラクターが高精度に同期する技術を開発。
　さらに、ジャイロセンサーと画像処理を用いてテレビ画面の位置姿勢を推定する技術を開発し、テレビ画面の前でキャラクターが自由に動きまわるような演出が可能。

■ARをTVに取り入れたらどうなるか 「Augmented TV」が見せる「拡張されたTV」
　VRの技術やコンテンツが注目された2016年だが、その先にある技術といわれているのがAR（Augmented Reality、オーグメンテッド・リアリティ）やMR（ミックスド・リアリティ）といわれるもの。ARとは、現実世界を拡張するという意味。映画「ターミネーター」の中で、ターミネーターが視野にある対象に関するデータをを書き出し、視界の中で重ねて表示するシーンや、最近では「ポケモンGO」のように、特定の場所に来ると、スマホのカメラを通して見た現実の映像の中にポケモンが登場されたりするといったイメージに近い。
　こうしたAR技術を、テレビの演出表現としてとりいれようとしたのが、「Augmented TV」だ。例えば、テレビの中にいるキャラクターが、テレビのスクリーンから飛び出して、お茶の間をかけまわる、というようなことも、将来的には可能になる。

■「飛び出すテレビ」と「メタフィクション」
　同技術の研究開発を進める放送技術研究所ネットサービス基盤研究所の川喜田裕之氏は、Augmented TVのしくみについて、次のように話す。
　「一言で言えば、『飛び出すTV』です。 画面の中のキャラクターの実在感をいままで以上に表現したいと考えています。昔から、テレビの中から人が飛び出すシーンって結構ありまして、例えばその代表例が、映画「呪怨」の中の「貞子」がテレビから飛び出してくるシーンです。あれがショッキングなのは、テレビの中の出来事が遠くで起きていると思っていたのに、突然飛び出してくることで、突然身近に感じるからなんだと思うのです」
　これは、劇場で演技をしている役者がいきなり観客に対して呼びかけるとか、あるいは、小説の中に作者が登場して、登場人物と話しをするというようなもの。『メタフィクション』と呼ぶ、演出上の技法ともいえるが、Augmented TVは、それをテレビの演出としてAR技術を用いて実現しようという考えだ。

　具体的なしくみとしては、スマホやタブレットのカメラを通してテレビのディスプレーを見ることで、スマホ側にTV画面の位置や向きを計算させ、CGを合成するというもの。しかし、飛び出して見えるには、放送されているテレビ番組コンテンツと、動きが同期している必要がある。例えば、キャラクターが飛び出すような動きをしたとき、合成するCGの表示が早すぎても、遅すぎても、せっかくの『飛び出した！』というリアリティが薄れてしまう。ここが同技術のミソともいえる部分だろう。

■システム・クロックでタイミング調整
　川喜田氏は、この同期の方法について次のように説明する。
　「タイミングについては、テレビ側とスマホ側、両方で『システム・クロック』を使っています。コンピューターの心臓部であるCPUが刻むタイミングですので、アプリケーションなどの影響を受けず、純粋かつ正確にタイミングを測れます。そのシステム・クロックをよりどころに、番組のはじめに『何秒後に飛び出す』というシナリオを共有することで、正確なタイミングでテレビの映像と、スマホのCGのタイミングを一致させることができるわけです」
　この同期技術は、NHK放送技術研究所のオリジナルのもので、実際には番組の冒頭に「動的二次元バーコード」というものを表示し、それをスマホが認識することで同期を一致させているという。システム・クロックを用いることで、冒頭で同期させるだけで正確なタイミングで合成ができる。さらに、テレビの中に枠をつくることで、テレビの位置を認識させ、スマホに内蔵しているジャイロセンサーを用いて、CG合成する位置を導き出している。

■広くBtoBでの協力関係を結びたい
　同技術はすでに今年6月に開催された「NHK技研公開」でも紹介されているが、今回Inter BEEでも出展することになったねらいや展示デモについて、川喜田氏は次のように話す。
　「NHK技研公開は、広く視聴者の方々に、NHKの放送技術研究をご覧いただくのですが、Inte BEEでは、ぜひBtoBの展開を想定したプレゼンテーションをしたいと考えています。 ARの技術なのでINTER BEE IGNITIONという企画について聞いたとき、すごくいいと思いました」
　「ブースでは、縦長のディスプレーでAugmented TVのコンテンツをデモします。これは、デジタルサイネージを想定したものです。ループ・コンテンツで数分程度のCMを表示し、そこにスマホをかざすとアプリのダウンロードができ、次の周期で遊んでもらうことができるというしくみです。デジタルサイネージは、テレビとともにARのアプリケーションの親和性が高いと考えています。特許化した技術も含まれており、放送などの社会還元とともに、広く技術を生かす方法として、B2Bによるパートナーシップを広く結んでいきたいと考えています」

【日本放送協会　放送技術研究所】
本社住所
〒157-8510 東京都世田谷区砧1-10-11
URL
http://www.nhk.or.jp/strl/index.html