近年の深層学習技術の急激な進歩により、自動運転や顔認証など様々なアプリケーションで画像認識技術が広く使われています。 また、映像技術の進化に伴い、仮想現実（Virtual Reality, VR）や拡張現実（Augmented Reality, AR）をさらに発展させた複合現実（Mixed Reality, MR）技術への関心が高まっています。 我々はこれら二つの技術を組み合わせたフレームワークであるReViSE (Real and Virtual Seamless Editor)を提案します。 ReViSEは、現実物体と仮想物体を自由に組み合わせることで、左図に示す多様なMR表現を提示するビデオシースルー方式の画期的なMRフレームワークです。

　ReViSEでは、インスタンスセグメンテーションを活用することで、カメラ映像に対して背景を含む任意の物体領域を指定し、仮想物体へ置き換えることを可能にします。 ReViSEのフレームワーク構成が右図です。ReViSEは5つのコアコンポーネントから構成されます：画像取得、インスタンス分割、インスタンス選択、ハイブリッドリアリティ合成、ディスプレイ表示です。

　ReViSEに基づくシステム実装例として、ライブコンサートを想定したシステムのプロトタイプを実装しました。 このプロトタイプでは、任意の物体への物体抽出を行いながら32.73fpsを達成し、抽出精度と処理速度をさらに向上させることで実用的な性能を発揮する可能性を秘めています。 私たちは、ReViSEが実社会で実際に活用されることを目指し、日々研究に取り組んでいます。