見出し画像

背景除去技術について

こんにちは!Hi君です。
前回は風景画像生成についてのまとめでしたが、今回は背景除去技術に関してまとめてみます。

SDを使っていると、背景が単色の画像を生成する事が意外と難しかったりします。
そんな時、背景除去ツールが欲しくなる時もあるかもしれません。
今回のまとめでは、キャラクターシートや三面図のような画像を生成した際に後処理したい場合などに使えるであろう拡張機能やツールを紹介しようと思います。

背景除去ツール① Rembg


Rembgという背景除去用のOSSツールをStable Diffusion上の拡張機能として使う事が出来ます。
URL: https://github.com/AUTOMATIC1111/stable-diffusion-webui-rembg
利用方法の解説記事:画像切り抜き拡張機能【AUTOMATIC1111版web UI】

わかったこと:
・Batch Process(単体画像ではなく、複数の画像が格納されたディレクトリを対象にした処理)も可能。
・U2-Netというモデルを用いて対象物体領域抽出を行っている。
・背景除去された画像についてはアルファチャンネル情報が付与される点に注意!白い服を来たキャラの画像生成等の際にはこの点を念頭に置く必要があります。
U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection

異種物体+複数の背景もそれなりに除去できます。

実際に試してみたら、うまく背景を除去できました。

背景除去ツール② VMFormer: End-to-End Video Matting with Transformer


VMFormerは動画特化の背景除去ツールです。対象フレームの前後のコンテキストを考慮できるので、画像単体で背景を除去するより抽出結果の品質が良好な場合があります。
Licence:MIT

Github

https://github.com/SHI-Labs/VMFormer

気づいたことがあれば、ぜひコメントお待ちしています!

文:Hi君
協力:inaho株式会社

この記事が気に入ったらサポートをしてみませんか?