Real-CUGANを使ってアップコンバートを行ってみた話。
前回、Real-ESRGANをアップコンバートを行った件を書き記した訳ですがそれを上回る存在と言われる「Real-CUGAN」を使用したアップコンバートにチャレンジしてみました。
Real-CUGANとは
ディープラーニングで画像をアップスケールする物です。
すごくざっくり言うとwaifu2xとReal-ESRGANより高性能にしたアップスケールと言えば話は早い奴です…マルチプラットフォーム対応なんですが、Webでお試しする奴とか死んでるくさいのでGUIとかの奴じゃないとやれないっぽいです。Real-ESRGANとの差に関しては、Real-CUGANの方がノイズ除去が優秀であるとの結果が出ているようです。
Real-CUGANのGitHub
https://github.com/bilibili/ailab/tree/main/Real-CUGAN
動画のアップコンバートに使った環境 (再掲)
マシン: ThinkStation P510
OS: Windows 11 (22H2)
CPU: Intel Xeon E5-2650 v4 (Haswell)
GPU: NVIDIA Quadro M2000
メモリ: 32GB
ストレージ: SSD/512GB&HDD/1TB
CPUは元々Xeon E5-1620 v4を積んでいましたが、換装をしています。
OSはお察しの通りバイパスで無理やりインストールしています。
アップコンバートを行うには
前回と同様に動画を画像と音源に分離、画像の数々を地道にアップスケールを行う手法になります。やはり今回もGPUの処理能力や時間との戦いになるのですが、時間の問題は解決されました。
今回アップコンバートを行った動画は以下になります。
livetune氏が手掛けた楽曲、Take Your WayのMVになります。
この動画は720pではなく、1080pに対応した動画であり普通のテレビやディスプレイで視聴をしても特に違和感はないと思われます。ですが、画像を拡大で比較をしてみると差はわかるのでサンプルを公開しておきます。
サムネイルでは特に変化はないと思いますが、拡大をすると僅かながらに線がぼけているとわかるはずです。この画像1枚ならば前回と同じく早く終るのですが、すべてアップスケールを行うので時間がかかります。しかし今回は枚数が少ない事やReal-CUGANが何気にできる子だったので作業時間はそれ程苦ではありませんでした。因みに総枚数は「5319枚」になります。
使用をしたツール
有り難い事にこれもアップコンバートを行う物を公開している方がいたのでそれを使用しました。
ダウンロード
しかし、これには問題点が存在したので一応注意書きをしておきます。
最新版だとなんか起動しない(前のビルドは起動可)
models-seとデノイズのオプションが噛み合わない事でエラーが出てしまい処理が開始できないで終了してしまう(models-seの内容物に沿った設定にしないといけない)
元の動画の音源をそのまま使ってしまう(Premire Proで編集しようとしたらOpusのままで音源が認識されなかった為、XMedia Recodeで再エンコードで回避)
という感じでそれなりに対策と工夫をしないといけませんでした。一応作者の人に報告したんで反応あったら修正されるかもしれません。
Real-CUGANのメリット
Real-CUGANにはReal-ESRGANより融通が利く面が存在していました。Real-ESRGANは4倍のアップスケールしかできないという謎の問題があった為、「えげつない解像度に変換をしてしまう事」と「容量の大幅な消費」と「作業時間がものすごくかかる問題」が存在しました。しかし、Real-CUGANは2倍のアップスケールが選択可能だったので作業時間は短縮される大きなメリットがありました。(1080pを2倍する事で済んだ)
作業時間はおよそ半日程放置で終わっているレベルでした…ありがてえ。
アップコンバート後の動画
60fpsにもするかと思いましたが、元の動画にそれをやると違和感がすごかったのであえてしない選択をしました。
最後に
今回使用をした物が意外と優秀だったので前回のように途方に暮れる感じでなかったのが救いでした。例のアップコンバートを行うツールの問題が解決すれば手軽にやれるかもなと思える子でした。上位な存在なはずのReal-CUGANが意外と情報の量が少ない感じだったので「知名度があがるキッカケになればなぁ」と思います。
…やっぱり長文苦手だわ。
この記事が気に入ったらサポートをしてみませんか？