フレーム補間の全貌:初心者からプロまで役立つ完全ガイド
「動画をフレーム補間することで、よりクオリティの高いものにできる」
こんなことがよく言われていますし、私も同感です。
とはいえ、
・そもそもフレーム補間とは?
・動画をフレーム補間する方法が分からない
という方も多いと思います。
そこでこの記事ではそんな動画フレーム補間のお悩みを、
大学で映像研究室に所属していた私の観点から解決していければなと。
具体的には、
・フレーム補間とは何か
・各ソフトのフレーム補間の仕方
の順番に重要なポイントだけをご紹介していきます。
5分くらいで読めますし、この記事は動画フレーム補間の完全ガイドとなってますので、まずはご一読を!
フレーム補間についてもっと知りたい場合
1. フレーム補間とは?
フレーム補間は、動画編集や再生の分野で使用される技術で、既存のフレーム間に新しいフレームを生成して挿入することにより、動画のフレームレートを向上させる方法です。この技術により、映像がより滑らかで自然に見えるようになります。
フレーム補間の基本原理
動画は静止画像(フレーム)が連続して表示されることで動きを表現可能です。フレーム補間では、2つの隣接するフレーム間の動きを解析し、その間に存在するはずの新しいフレームを生成します。これにより、フレームレートが向上し、動きの滑らかさが増すのです。
フレーム補間の利用例
・低フレームレート動画の改善:低フレームレート(例えば24fps)の動画を高フレームレート(例えば60fps)に変換することで、映像が滑らかになります。
・スローモーション効果:通常のフレームレートの動画をスローモーションにする際、フレーム補間を使うことでカクつきのない滑らかなスローモーション映像が作成可能です。
・高品質な視聴体験:特にアクションシーンやスポーツ映像など、速い動きの多い映像で効果を発揮し、視聴体験を向上させます。
2. フレーム補間AIソフト「HitPaw VikPea (旧:HitPaw Video Enhancer)」で動画を滑らかに
AIよるフレーム補間の技術を簡単に紹介します。AI学習により効率的にフレーム補間できるのが特徴です。また、低フレームレートの動画を高フレームレートの動画に簡単に変換可能です。
そんなAIによるフレーム補間で手軽に扱える、HitPaw VikPea (旧:HitPaw Video Enhancer)を紹介しますね。
今すぐクリックして安全・無料ダウンロード↓ ※プライバシー保護・広告なし・課金情報を入力する必要なし
HitPaw VikPeaのフレーム補間機能がおすすめ理由
- 公式HP、サポート、ソフトが日本語に対応 しています。
- AI技術を駆使して、元の動画にない中間フレームを生成し、スムーズな動き を実現します。
- 古いビデオの修復、アニメーションの滑らかさ向上など、さまざまな用途 に適しています。
- インターフェースは直感的で、技術的な知識がなくても簡単に使用 できます。
- 高速な処理速度を持ち、リアルタイムでのプレビュー も可能です。
- 多くの動画フォーマット をサポートし、WindowsパソコンとMacの両方 で利用可能です。
- 推奨スペックがCPU:Intel i3 第4世代またはAMD Ryzen 3相当など下位モデルでも動かす ことができます。
- フレーム補間の以外に、動画高画質化、壊れた動画の修復、動画背景透過などの機能も搭載されています。
HitPaw VikPeaでのフレーム補間の方法
HitPaw VikPea (旧:HitPaw Video Enhancer)には「フレームレート向上モデル」というAIモデルがあり、フレームレートを2倍や4倍にすることができます。 今回は、640x360で、23.98fpsの動画を高画質化しつつフレーム補間します。
手順1.左欄から「動画高画質化」を選択し、ファイルをドラッグ&ドロップします。
-
手順2.右欄から適用させるモデルを選びます。今回は「フレームレート向上モデル」を選択し、4倍を選択しましょう。そこまでフレームレートを上げる必要がないという方は2倍を選んでください。そして、特に変化が感じられる位置を選択して、「効果のプレビュー(3S)」をクリックします。
-
手順3.選んだ部分の動きを再生して比較し、なめらかになっていたら処理が完成です。右上の「エクスポート」ボタンをクリックして保存しましょう。
3. リアルタイムのフレーム補間を実現できる「SVP」の使い方
SmoothVideo Project(SVP)は、既存のフレームとフレームの間に中間フレームを生成することで、フレームレートを増加させ、きわめて鮮明で、流れるようになめらかな動きを実現する映像のフレーム補間に特化したソフトです。使用場面としてはゲームやオンライン会議で、動画フレーム補間をすることでよりなめらかで自然な動画となり、見やすくなります。
①特徴
- フレームレートを60/120/144 fpsまで変換
- GPU加速、NVIDIA Optical Flow
- RIFE neural network
- NVIDIA TensorRT
- VLCなど、ほとんどの動画再生ソフトで再生可能
- HDR動画の支援 (一部の動画再生ソフトで再生可能)
- BD3D動画 の支援 (一部の動画再生ソフトで再生可能)
- 再生、変換、ストリーミング
- 広告なし
- iOS & Android video player
②メリットとデメリット
- 有名なフレーム補間ソフトで信頼性がある
- 試用期間があり完全無料ではない
- SVP自体はフレーム補間ソフトでプレイヤーではないのでプレイヤーもダウンロードする必要がある
- 無料版ではフレーム補間の効果があまり良くない
- プレーヤーの設定が面倒
- 保存するにはプラグインが必要
③無料で使える範囲
30日間の試用期間があります
④フレーム補間の効果
既存のフレームとフレームの間に中間フレームを生成することで、フレームレートを増加させ、きわめて鮮明で、流れるようになめらかな動きを実現可能です。
⑤評価
SVP自身はフレーム補間に特化したソフトなので、動画再生プレイヤーが別で必要です。SVPをダウンロードすると動画再生プレイヤーがついてきますが、別というのがまず初心者には理解しづらく混乱します。また、ダウンロードするの自体はとても簡単ですが、プレイヤーにSVPを連携する設定が必要なため面倒です。また、リアルタイムで変換できるのがSVPの良いところですが、保存するには別のプラグインが必要でこれもさらに評価をマイナスにしています。
⑥リアルタイムでフレームを補完する方法を詳しく説明
SVP自体は動画を再生するときにリアルタイムでフレーム補間してくれるソフトでプレイヤーではありません。RIFE(Real-Time Intermediate Flow Estimation)というアルゴリズムを利用しています。既存のフレームとフレームの間に中間フレームを生成することで、フレームレートを増加させ、きわめて鮮明で、流れるようになめらかな動きを実現可能です。
以下の公式HPからダウンロードします。様々な選択肢が出ますが、「次へ」をずっとクリックして、
ダウンロードして構いません。日本語か英語に設定するのをオススメします。
https://www.svp-team.com/ja/home/
手順1.ダウンロードが完了すると以下のプレイヤーとSVPの画面が表示されます。
-
手順2.プレイヤーを設定して、SVPと連携します。「表示」メニューバー →「オプション」をクリックしましょう。
-
手順3.「内部フィルター」→「 内部 LAV Filtersの設定」内の「ビデオデコーダ」をクリックして、 「DXVA2 (copy-back) 」モードを選択して「OK」をクリックします。
-
手順4.「外部フィルター」→「フィルターを追加...」をクリックし、「AviSynth Filters」を選択して「OK」ボタンをクリックしましょう。
-
手順5.右欄から「優先する」にチェックを変更し、「AviSynth Filters」をダブルクリックします。「Enable remote control」にチェックが入っていることを確認し、「OK」をクリックしましょう。
-
手順6.「再生」→「出力」→「DirectSHow ビデオ」→「madVR」か「EVR」を設定しましょう。今回は、「madVR」に設定しました。
・madVR: 非常にローエンド (古い Intelの統合GPU など) のビデオカード以外のビデオカードを扱える
・EVR (カスタム プレゼンター): 最大のパフォーマンスと互換性を実現しますが、10 ビットと HDR をサポートしない
-
手順7.SVPを初回起動する際、システムパフォーマンスの判定を自動で行います。
-
手順8.システムパフォーマンスの判定が完了した後、SVPを再起動します。SVPを有効にしたビデオプレーヤー(今回はMedia Player Classic Home Cinema)でフレームレートを変換したいビデオを再生します。「ファイル」メニューバー →「ファイル/URLを開く」→「開く:参照」で開くファイルを設定し、「OK」ボタンをクリックすると動画が再生されるのです。再生中、画面左下に再生中のファイルの現在のフレームレートなど、いくつかのパラメータを確認することができます。
-
手順9.設定を変えるとリアルタイルで反映されます。
4. フリーソフト「Aviutl」での動画フレーム補間の方法
①特徴
AviUtl(エーブイアイ・ユーティーエル、またはエーブイアイ・ユーティル)は無料の動画編集ソフトです。基本的な動作が軽く、1997年に開発されたソフトというのもあってトラブルがあったらすぐネットで調べて情報が出てきます。有志開発のプラグイン次第でどんどん機能を追加できるところも魅力です。「ゆっくりMovieMaker」「MikuMikuDance」「AviSynth」「NIVE」などの有名ソフトと連携が取れます。 インターフェースがとてもシンプルですが、逆に言うと動画変換の知識がないと直観的には扱えないことは弱点です。PCに疎い方には導入の難易度が高いのでご注意ください。
②メリットとデメリット
- 有志開発のプラグインがあるため、どんどん機能を追加できる
- 完全無料
- 初心者には使い方や画面がとても難しい
- 機能の追加の仕方も複雑
- 今回の方法だと様々なファイルを読み込めるが、出力はaviでしか出来ない。他のファイルで保存したい場合はまた別のプラグインが必要
③無料で使える範囲
AviUtilは完全無料です。 基本的な操作とエフェクト効果、エンコードができます。
基本的な操作
・不要なシーンのカット・結合
・動画・画像・音声・字幕(テロップ)の合成
・いらない部分(黒帯部分)のトリミング
・再生速度の変更(倍速・スロー・逆再生等)
・動画自体のリサイズ
・動画の縦横回転・左右反転
・インターレース解除・ノイズ除去等の画面処理
・カラーグレーディング(色調補正等)
エフェクト効果
・(モザイク・ブラー・歪ませ・色調補正・アニメーションなど)の適用
・無料ソフトなのもあり、有志のプラグインで拡張し、機能を増やせます。
エンコード
・動画の容量を圧縮したり、視聴が可能な動画形式に変換する「エンコード」が可能です。
④評価
AviUtl自体がダウンロードするのもタイムラインを表示するのも使用するのも難易度が高く、全く初心者向けではありません。画面自体も必要最低限で、分かりにくいです。フレーム補間で期待されるのは動画がなめらかに動くことになる・解像度が上がることですが、AviUtl本体でできるフレームレートを変更するやり方ではデータの見栄えだけ良くなるだけで、カクカクな動画のままですし、解像度も上げることはできません。動画がなめらかに動くことになる・解像度を上げるためには、新たなフレームを補間する必要があり、このやり方はプラグインやスクリプトを併用する必要があります。また、これらはただダウンロードすればいいのではなく、フォルダを移動したりデータを書き換える必要があり、ある程度動画編集ソフトを触ったことがある方でも厄介です。
⑤フレーム補間の効果
AviUtlでフレーム補間する方法は2つあります。
方法1:フレームレートを変更する
AviUtlのデフォルト機能で出来るのがこちらです。例えば、30fpsを60fpsに変換するのですが、ただのフレーム数を上げるため、フレームの間に新たなではなく重複なフレームを補間します。フレーム補間の特徴である、動画の滑らかさUPや解像度アップできないのがデメリットです。データの見栄えを良くするだけで、フレーム補間で期待できるメリットを得られません。
方法2:新たなフレームを補完する
こちらはAviUtl本体では行えません。「AviSynth」、「MVTools」、「warpsharp」といったプラグインやスクリプトを併用すると、AviUtlを使ってフレームを補間することができます。こちらはカクカクした動画をぬるぬると滑らかに動かすことが可能です。
上記の理由から、以下は新たなフレームを補完する方法を説明します。
⑥新たなフレームを補完する方法
AviUtl本体のダウンロードの仕方は以下記事の「AviUtlのダウンロード・インストール方法」部分を参考にしてください。
https://www.hitpaw.jp/video-tips/transparent-background-with-aviutl.html
手順1.Avisynthをダウンロードしましょう。URL(AviSynthのダウンロードURL:https://avs-plus.net/)を開いたら、「Get started!」というボタンを押して、遷移したページの「Installer」をクリックしてください。最初のページでインストーラーをクリックすると失敗するので注意です。
ダウンロードした.exe ファイルをダブルクリックし、画面の指示に従ってインストール処理を完了します。また、このファイルの解答先(デフォルトのままならC:\Program Files (x86)\AviSynth+\plugins)を後で使うのでコピーしておきましょう。
-
手順2.AviSynth用のプラグイン「MVTools」をダウンロードして解凍しましょう。URL(MVToolsのダウンロードURL:https://github.com/pinterf/mvtools/releases)を開いたら、下にスクロールし、「mvtools-2.7.46-with-depans20240503.7z」をクリックしてダウンロードします。解凍したら、「x64」→「ClangCL」→「mvtools2.dll」ファイルをAvisynthの中のpluginsフォルダ(デフォルトなら、C:\Program Files (x86)\AviSynth+)に入れます。
-
手順3.AviUtl用のプラグイン「warpsharp」をダウンロードします。URL(warpsharpのダウンロードURL:http://avisynth.nl/index.php/WarpSharp)を下にスクロールし、「 warpsharp_20080325.zip」をクリックしましょう。ダウンロードする際、警告が出るかもしれませんが、「保存」ボタンをクリックしてダウンロードします。解凍したら、「VC09」を開き、「avsinp.aui」ファイルをAviUtlのインストールフォルダと同じフォルダに入れましょう。
-
手順4.PCで新規にテキストファイルを作成して、下記のコマンドをテキストにコピーアンドペーストします。「XXX.avs」という名前で保存しましょう。「"C:\Users\<ユーザー名>\Desktop\元動画.avi"」の部分は動画のパスに変更してください。
AVIsource("C:\Users\<ユーザー名>\Desktop\元動画.avi")
ConvertToYUY2()
super=MSuper(pel=4, hpad=0, vpad=0)
backward_1 = MAnalyse(super, chroma=false, isb=true, blksize=4, blksizev=4, searchparam=3, plevel=0, search=3, badrange=(-24))
forward_1 = MAnalyse(super, chroma=false, isb=false, blksize=4, blksizev=4, searchparam=3, plevel=0, search=3, badrange=(-24))
backward_2 = MRecalculate(super, chroma=false, backward_1, blksize=4, blksizev=4, searchparam=2, search=3)
forward_2 = MRecalculate(super, chroma=false, forward_1, blksize=4, blksizev=4, searchparam=2, search=3)
MBlockFps(super, backward_2, forward_2, num=60, den=1, mode=1)AVI形式以外の動画のフレームを補間したい場合は、
AVIsource("C:Users\ユーザー名\Desktop\元動画.avi")を
directshowsource("C:Users\ユーザー名\Desktop\元動画.mp4")に書き換えます。
変換する動画のパスも自分の必要に応じて変更することが可能です。最終的に書き換えたものは以下の通りです。
directshowsource("C:\Users\user\Downloads\動画_高画質化前_46747_640x360.mp4") #変換する動画のパスに書き換えるConvertToYUY2()
super=MSuper(pel=4, hpad=0, vpad=0)
backward_1 = MAnalyse(super, chroma=false, isb=true, blksize=4, blksizev=4, searchparam=3, plevel=0, search=3, badrange=(-24))
forward_1 = MAnalyse(super, chroma=false, isb=false, blksize=4, blksizev=4, searchparam=3, plevel=0, search=3, badrange=(-24))
backward_2 = MRecalculate(super, chroma=false, backward_1, blksize=4, blksizev=4, searchparam=2, search=3)
forward_2 = MRecalculate(super, chroma=false, forward_1, blksize=4, blksizev=4, searchparam=2, search=3)
MBlockFps(super, backward_2, forward_2, num=60, den=1, mode=1) -
手順5.AviUtlを起動して、「XXX.avs」ファイルをAviUtlにドラッグ&ドロップして読み込みましょう。AviUtilに映像が映れば成功です。
-
手順6.AviUtilの「ファイル」→「プラグイン出力」で保存します。
5.まとめ
上記の方法を使えば、動画のフレーム補間ができ、よりクオリティの高い動画にできることがおわかりいただけたでしょう。
紹介した中で、HitPaw VikPea (旧:HitPaw Video Enhancer)が一番簡単にAIで動画のフレーム補間ができてオススメします。
それは以下の理由からです。
・AIで簡単にフレーム補間ができる
・AIが自動的に新しいフレームを生成するため、初心者でも簡単に操作可能
・日本語対応しているため使いやすい
・たくさんのファイル形式を読み込み、書き出しできる
今すぐクリックして安全・無料ダウンロード↓ ※プライバシー保護・広告なし・課金情報を入力する必要なし
6.動画フレーム補間に関するよくある質問
Q1. フレームレートが違うとどうなりますか?
A1. フレームレート(単位:fps)とは、1秒間に何枚のフレームで構成されているのかを表す数値です。1秒間あたりに表示される画像(フレーム)数が多いほど、より自然でクリアな動画になります。例えば、30fpsなら1秒間あたりに表示される画像(フレーム)数が30枚で、60fpsなら1秒間あたりに表示される画像(フレーム)数が60枚です。この場合、60fpsの方がより自然でクリアな動画になります。さらに、30fpsの動画をフレーム補間して60fpsにすれば、より自然でスムーズに見やすくなるのです。
Q2. フレーム補間を行うデメリットとメリットは?
A2. FAQ1でフレームレートが高いとより自然でクリアな動画になると説明しました。しかし、フレームレートが高ければ高いほど良い訳ではありません。フレーム補間をするのがオススメの動画の種類は、動きの速いスポーツやゲームなどの動画と、24fps程のアニメ動画です。動きの速い動画はフレーム補間することでブレなく見られますし、アニメ動画はキャラクターも背景も滑らかな動きをするようになります。フレーム補間をするデメリットとしては、データ容量が大きくなり、フレーム補間をすればする程労力と時間を費やすこと、また高性能な周辺機器を用意する必要もあるのです。また、容量そのままでフレーム補間した場合は画質が下がるのでご注意ください。
この記事をシェアする:
「評価」をお選びください:
松井祐介
編集長
フリーランスとして5年以上働いています。新しいことや最新の知識を見つけたときは、いつも感動します。人生は無限だと思いますが、私はその無限を知りません。
すべての記事を表示コメントを書く
製品また記事に関するコメントを書きましょう。