映像をマット化する最良の方法を紹介！

マット合成に馴染みがない方に説明すると、マット合成とはふたつの映像をひとつの複合的なストリームへと組み合わせるプロセスのことです。

マット合成のもっとも一般的な用途はピクチャー・イン・ピクチャーと呼ばれる効果をつくることですが、ほかにもグリーンスクリーン合成のようなよりクリエイティヴな用途にも用いることができます。

マット合成はユニークで人の目をひく映像コンテンツをつくるのにうってつけのパワフルなツールです。このブログ記事では、マット合成とはなにか、どのように動くのか、映像制作でつかえるクリエイティヴな使い道についていくつか紹介します。

パート1　マット合成とは？

マット合成のプロセスは、次のような工程を含みます。まず、映像を2つ以上のレイヤー（たいていは前景と背景のふたつです）に分離して、レイヤーのあいだの混合度合いをコントロールするアルファマットを生成します。

この方法は映像編集で広く用いられています。というのも、これを使えば編集者は背景を変更することができますし、編集プロセスのあいだそれぞれのレイヤーを別々に扱うことができるからです。

パート2　ロバスト・ビデオ・マッティング (RVM)を使ってマット合成する方法

1. ロバスト・ビデオ・マッティング（RVM）とは？

RVMは明確に人物を切り抜く目的で開発されました。時間的な記憶を用いて映像を分析するため、RVMは回帰型ニューラルネットワークを用います。これは、個々のフレームをあたかも別々の画像のように処理する他のニューラルモデルとは対照的なモデルです。

外部からの入力なしで、RVMはあらゆるビデオをリアルタイムでマット合成することができます。Nvidia GTX 1080 Ti GPU上では、4Kの場合76FPS、HDの場合104FPSで処理可能です。

2. （RVM）でマット合成をする方法

ロバスト・ビデオ・マッティング（RVM）アルゴリズムは、画像と映像をマット合成する技術です。アルゴリズムは4つの主なステップからなります。Trimapの生成、色のサンプリング、前景の推測、そしてアルファ値の微調整です。

• ステップ1　最初のステップであるTrimap生成では、自動的に3つの色からなるマップを生成します。このマップは大まかに前景を背景から描き出します。画像中の輪郭を検出し、これらの輪郭から前景と背景を派生させていきます。

• ステップ2　二番目のステップはカラーサンプリングです。ここがRVMのアルゴリズムの腕の見せ所です。RVMのアルゴリズムは新しい色彩サンプリング技術を用いて前景と光景の色をTrimapのそれぞれのピクセルにおいて推測します。これによって、これまでのマッティング技術よりも精確な前景の推測が可能になっています。

• ステップ3　さん番目のステップが、前景の推測です。このステップは前のステップでサンプリングした色彩を使って、前景の領域にあるそれぞれのピクセルの不透明度を推測します。このステップはこれまでのマッティング技術と同じですが、色彩のサンプルを用いることで正確性が改善されています。

• ステップ4　最後に、アルファ値の微調整が、画像のそれぞれのピクセルの不透明度を調整するのに用いられます。このステップは特別な色彩補正機能を用いてよりよく前景と後景のピクセルのあいだを区別します。こうすることによって、RVMアルゴリズムはこれまでのマッティング技術よりもよい結果をつくりだすことができるのです。

HitPaw Video Object Removerで簡単にマット合成する最良の方法

高解像度のロバスト・ビデオ・マッティング（RVM）の方法はとても専門的ですが、そうしたスキルを持たない多くの人々はシンプルなツールで目的を達成したいと思うことでしょう。

HitPaw Video Object Removerの助けを借りれば、映像から背景を取り除くことはシンプルで魔法のような仕事になります。これは、あなたの必要にもっとも適した塗りつぶしモードを選択する完璧な自由があるからです。

以下が、HitPaw Video Object Removerの主な機能です。

• たったの3秒で、不要な人、ビデオマット、モノ、混乱をすべて除去
• AI認識を活用し、対象の動きを自動的に追従・特定
• 背景のマットをわずか3ステップで簡単に除去
• 魔法の選択ブラシで誤って削除された領域を細かく変更可能

映像の背景の削除を、以下のシンプルな4つのステップに従って始めましょう。

• ステップ1　コンピューターにHitPaw Video Object Removerをダウンロード。

  
  

• ステップ2　モノを消去する必要のある映像をアップロードするには、「Choose file」ボタンをクリックします。また、単純に映像を編集ウィンドウにドラッグし、ドロップすることもできます。

  

• ステップ3　HitPaw Video Object Removerを使う際には、必要に最も適した背景塗りつぶしオプションを選択します。

  

• ステップ4　もし透過を選択した場合、あなたの映像の背景も同様に変化します。もしグリーンスクリーンで映像をエクスポートする場合、空白のスペースは緑色で塗りつぶされます。こうして、グリーンのマット背景を持つ映像をつくられます。

  

• ステップ5　除去効果をプレビューし、コンピューターに映像を保存します。

  

パート4　マット合成のよくある質問

1. 覚えておきたい5つのマット合成方法について教えてください。

5つのマット合成方法には、次のようなものがあります。

• フレーム差分

フレーム差分はもっともシンプルなマット方法のひとつであり、背景が動かないときに使うことができます。最初のステップは、連続するフレームのあいだの差分を計算することです。続いて、ノイズを除去するための閾値がフレームに適用されます。最後に、残った前景の対象物が他のすべてのピクセルを黒に設定することで抜き取られます。


• 背景モデリング

この方法は、時間を通じて変化する背景の確率的潜在意味解析（pLSA）の軌跡によって動作し、その情報を用いて前景の対象物を分離します。この方法は静的な背景でも動的な背景でも用いることができます。

• クロマキー

クロマキーは色の情報を用いて前景の対象物を分離するマット方法です。この方法は、与えられた「キー」となる色と同じピクセルを検知し、それらのピクセルを透明にセットすることで動作します。この方法はグリーンスクリーンを応用した場合に一般的に用いられます。


• イメージ・インペインティング

クロマキーは色の情報を用いて前景の対象物を分離するマット方法です。この方法は、与えられた「キー」となる色と同じピクセルを検知し、それらのピクセルを透明にセットすることで動作します。この方法はグリーンスクリーンを応用した場合に一般的に用いられます。

• オプティカルフロー

オプティカルフローは、映像のシーケンスのなかの対象物の動きを追うのに使われる技術です。この情報は、背景から前景の対象物を分離することに使うことができます。オプティカルフローアルゴリズムはふつう大量の計算を必要とし、リアルタイムの応用には実用的ではありません。

2. どんなマット方法が実際に用いられていますか？

映像を編集するには、映像編集ソフトウェアがマット合成技術を搭載していなければなりません。最も典型的な用途は、あるシーンから対象を選択して、他のシーンに貼り付けることです。

ユーザーは、このツールを使ってインタラクティヴに対象に属していなければならない、または属してはいけない領域を描いたり、全体のTrimapを入力することによって、動く対象を切り抜くことができます。以下の通り、いくつかのさまざまなソフトウェア上の実装があります。

• インタラクティヴな映像切り抜きシステム
• Adobe After Effects ロトブラシツール
• Adobe After Effects エッジ微調整ツール
• Adobe After Effects用YUVSoftマットプラグイン

3. アルファマッティングとはなんですか？

画像の背景から前景を丁寧に取り除くという課題は、「アルファマッティング」と呼ばれます。これまでに紹介したマット用の技術はしばしば素朴な色のサンプリングアルゴリズムを用いて実際の色がわからないピクセルを持つ前景と光景の色を決定していました。アルファマットはもっと簡単で単純です。

パート5　結論

マット合成は、マーケティングにもエンターテインメントにも用いることができるパワフルなツールです。情報量のある映像や面白い映像を、この方法を駆使してつくることができます。必要なのは、良い映像編集ソフトウェアとちょっとしたクリエイティヴィティだけ。

私たちは、マット合成が必要なときには必ずHitPaw Video Object Removerを使うことをおすすめします。これを使えば、グリーンスクリーンのマット背景映像をつくることができますよ。