アップスケーラーの違いで、アップスケール画像にどのような違いがあるかを比較します。
あらかじめ準備した画像をアップスケールして結果を比較します。
画像は下図の画像を利用します。
Prompt:1girl, (from front), full body, standing, yellow jacket,white one piece dress, long skirt, black boots, official art,at balcony, old european fantasy city view, masterpiece, best quality, hires, very aesthetic
Negative prompt:worst quality, low quality, very displeasing
Model:animagine-xl-3.1
Steps: 30, Sampler: DPM++ 2M, Schedule type: Karras, CFG scale: 7, Seed: 3688246095, Size: 768x1024
Stable Diffusion WebUI を起動します。[Extras]タブをクリックして選択します。下図の画面に切り替わります。
[ここに画像をドロップ -または- クリックしてアップロード]の枠に先に準備した画像をドロップするか、枠をクリックして表示されるファイル選択ダイアログで画像を選択します。
画像が設定され、サムネイルが枠に表示されます。
[Upscaler 1]のドロップダウンリストをクリックします。ドロップダウンリストが表示されますので、アップスケーラーを選択します。
[Scaled by]の枠の[Resize]の値は"4"とします。
[Generate]ボタンをクリックします。アップスケールされた画像が右側に表示されます。
単純に拡大した処理に近い結果となります。ピクセル感があります。
Nearestより滑らかな画像です。他のアルゴリズムより、輪郭が滲んでいる結果です。べた塗り部分で若干ノイズが出ています。
Lanczos よりシャープ感のある結果です。べた塗り部分で若干ノイズが出ています。
ESRGAN 4x よりさらに鮮明な結果になります。ただし、フラットカラー部分の表現がのっぺりした感じになってしまいます。
R-ESRGAN 4x+と鮮明感は同程度ですが、彩度が若干上がり、色が濃く出力される結果となります。
また、べた塗り部分のノイズがほとんどありません。一方で、フラットカラー部分が若干のっぺりした結果になってしまう印象があります。
境界の鮮明感は ESRGAN 4x のような鮮明さはありませんが、色のフラット感があり、ノイズが少ない結果です。
Scunetと比較すると、彩度が若干上がり、色が濃く出力される結果となります。
鮮明感のある結果です。R-ESRGAN 4x+ / R-ESRGAN 4x+ Anime6B との比較では、細部の境界がよりはっきりアップスケールされる印象です。
SwinIR 4x と似た結果になりますが、SwinIR 4xより、若干暗い色で出力され、色が濃くなる印象です。細部の描画はSwinIR 4x と似ています。
4x AnimeSharp よりより細部までアップスケールされる結果になります。色も4x AnimeSharp より、若干暗い色で出力され、色が濃くなる印象です。
また、若干ノイズが出てしまう場所もあります。
4x AnimeSharpほどではありませんが、細部までアップスケールされる結果になります。一方でノイズ感は、4x UltraSharp より抑えられています。
細部はややエッジカラーが濃くなる印象があります。シャープ感が強めに出る印象です。
フラットカラー部分(顔)のノイズも少ないです。
Dual Aggregation Transformerの略です。
FatalAnimeやRealistic Rescalerに比べるとシャープ感は弱く柔らかい感じの画像になります。
一方でのっぺり感が減るため、自然な見た目に感じられます。
DATの改良版です。DATと比較するとエッジ部分のシャープさがある印象です。
Activating More Pixels in Image Super-Resolution Transformerモデルを利用したアップスケーラーです。
DAT2よりさらにエッジ部分のシャープさがしっかり出る印象です。
Dense Residual Connected Transformerの略です。SwinIRの発展アルゴリズムです。
エッジのシャープさはHATよりもさらに際立ちます。フラットカラー部分は若干ノイズが乗りやすい印象もありますが、
のっぺりした表現にはなりにくい印象です。カラーがわずかに濃くなる印象があります。
処理に長い時間がかかります。
アップスケーラーの違いによる結果を比較しました。
ESRGAN 4x, R-ESRGAN 4x+, R-ESRGAN 4x+ Anime6B では輪郭線やエッジの鮮明感が上がった結果になります。一方で、フラット感が強まり、単調な画像になってしまう傾向もあります。
一方、Scunetは輪郭線の鮮明さは落ちますが、ノイズが少なく、アップスケール結果は柔らかい画像になる印象です。
SwinIR 4x, 4x AnimeSharp, 4x UltraSharp, 4x FatalAnimeの結果は鮮明感が上がりますが、ESRGAN よりより細部までアップスケーリングされ、ESRGAN であったフラット感が強まらない、
印象があります。
新しいアップスケーラー、DAT2,HAT,DRCTはエッジのシャープさもありつつ、フラットカラー部分がのっぺりした表現にならない傾向で、
自然なアップスケール結果が得られる印象です。
