【マイクロソフト リサーチ　アジア インタビュー 後編】３　KINECTプロジェクト

（前号より続く）
　前節で紹介したのはほんの一端で、MSRAグラフィックス・グループは21世紀に入ってから毎年のように膨大な数の論文を著名な国際コンフェレンスで発表し続けている。前述したように、テクスチャを活用したレンダリング技法やリアルタイム・レンダリングはその代表的なものだが、関与媒体やサブサーフェース・スキャタリングなども含めてより広義な意味でのフォトリアリスティック・レンダリング、さらに近年ではキャプチャリングやcomputational photographyの方法論を導入した技法の研究にも取り組みはじめた。そういった研究の幅の広がりと同時に、2011年以降の同グループの活動には新たなオプションが加わった。それは、これまで同グループが論文などを通して発表してきた技法を、マイクロソフト社の商品やゲーム・プロジェクトに反映させてゆくことだ。（倉地紀子）

■マイクロソフトのゲーム・プロジェクトへの反映　「KINECTの大黒柱」に
　実際のところ、すでにMSRAグラフィックス・グループの何名かはゲームHallo3の制作プロジェクトにも加わり、グローバル・イルミネーションやダイナミック・シミュレーションを活用した映像の制作を全面的にサポートしたのだそうだ。
　それに続いて、目下グラフィックス・グループは、マイクロソフト社が展開しているKINECTプロジェクトの大黒柱の一つとなる重要な役割を担っている。物体の3D情報を高い自由度でリアルタイムにキャプチャーできることが売りのKINECTだが、将来的にはそれに加えて物体の形状のディテールや質感まで限りなくリアルに瞬時に復元できるようにすることが目指されており、リアルタイム・レンダリングの研究において揺ぎ無い名声を確立したMSRAグラフィックス・グループにその白羽の矢が当たったといえそうだ。

■高まるKINECT人気　第一の課題もほぼクリア
　SIGGRAPH2012でも見られたようにKINECT人気は高まる一方で、マイクロソフト社にとってこのKINECTプロジェクトは一商品の開発というものを越えた意味合いをもっている。それだけに、その責務を託されたことをグラフィックス・グループはいかばかりか誇りに感じており、実際のところその責務の第一弾といえる課題はほぼクリアし終えたところのようだ。
　第一弾の課題とは、KINECTによって位置情報を与えられたポイントクラウド（点集合）から、物体の形状を滑らかなサーフェースとしてリアルタイムに復元することだった。MSRはポイントクラウドから滑らかなサーフェースを復元する新手法を2006年のEurographicsで論文発表しており(文献8)、MSRAグラフィックス・グループは基本的にはこの手法を受け継ぐ方針をとった。
　しかし、この手法そのままでは“リアルタイム”という課題を達成することができない。そこで、GPU上の計算に適した独自の階層構造を考案してポイントクラウドにあてがい、これによってGPU上でリアルタイムに滑らかなサーフェースを生成することに成功した。
　独自の階層構造の考案では、同グループがこれまでGPUレンダリングの研究において培ってきた蓄積が生かされているともいえ、MSRAグラフィックス・グループはマイクロソフト社の大いなる期待にみごとに答えたともいえそうだ。この新たな手法は2011年に開催されたコンピューター・ビジョンの国際コンフェレスで論文発表もされており(文献9)、KINECT プロジェクトにおける新たなチャレンジは、MSRAグラフィックス・グループがその研究をコンピューター・グラフィックスという範疇を越えて展開してゆくための一つのきっかけともなったようだ。
　次なる課題としては、変形する物体にも対応できるようにすること、スペキュラー・ハイライトなどのようなサーフェース上の光の反射の効果も復元できるようにすることが挙げられているという。

文献8) “Poisson Surface Reconstruction”
(Michael Kazhdan, Matthew Bolitho, Hugues Hoppe, Eurographics2006)
文献9) “ Data-Parallel Octrees for Surface Reconstruction”
(Kun Zhou, Minmin Gong, Xin Huang, Baining Guo,
IEEE TRANSACTIONS ON VISUALIZATION & COMPUTER GRAPHICS 2011)

(写真説明)
図(A)(B)(C)(D)
　KINECTプロジェクトにおいてMSRAグラフィックス・グループに託された課題の第一弾は、Kinectがキャプチャーした物体の位置情報（ポイントクラウド）から物体の滑らかなサーフェースをリアルタイムに復元することで、そのための基本的な方法論としてはMSRが2006年のEurographicsで発表した図（A）のような手法が採用された。この手法では、向きをもったポイントクラウド（oriented point cloud）を補間して得られるベクトル場を用いて記述したポワッソン方程式(Poisson equation)を解いてインプリシット・ファンクション(Implicit Function)を作成し、このインプリシット・ファンクションが特定の実数値をとる点を抽出することによって物体表面を生成する(isosurface extraction)。ベクトル場のあらゆる地点で方程式を解く計算負荷は重いため、ここではあらかじめ空間を階層的に分割し(Octree construction)、各分割格子を一つの点と考えて計算をおこなう(より精度の高い計算が必要とされるサーフェース近傍では階層構造を深くしてより細かい分割格子が用いられるようになっている)
　MSRAグラフィックス・グループは上記の手法に対して、その計算効率をリアルタイムにまで高めるために改善を加えた。まずは分割方法の改善で、図(B)のように、従来はデプスに応じて空間の再分割を繰り返して次の階層のノード（サブノード）の生成を繰り返してしていた。これに対して新たな手法では、デプス情報に関係なくいずれのノードに対してもサブノードの数は（8個と）決まっており、サブノードの生成は並列に行われるため、GPU上の並列計算の利点を最大限に生かすことができる。また、図(C)のように、サーフェースの抽出においては特定ノードの(27個の)近傍ノードを検出する必要があるのだが、これらのノードは異なった階層に属することもあるため階層を行き交って複雑な散策をおこなう必要があった。これに対して、新たな手法ではあらかじめすべてのノードに対してその(27個の)近傍ノードをあらかじめ検出してテーブル（LUT）に保存しておくという方法をとっており、これによってレンダリング時にはテーブルを参照するだけで瞬時に近傍点を検出できるようになった。図(D)はこの改善を通して、データー量や計算時間を削減した計算結果を示している。