UltraSharpV2가 나온 기념으로 테스트 해봤어.
테스트 모델
- 4x-UltraSharpV2 - https://github.com/Kim2091/Kim2091-Models/releases/tag/4x-UltraSharpV2
- DAT2, RealPLKSR(lite) 2가지 종류 제공
- 2x-AnimeSharpV4 - https://github.com/Kim2091/Kim2091-Models/releases/tag/2x-AnimeSharpV4
- RCAN, RCAN-PU 2가지 종류 제공
- 2x-AnimeSharpV3 - https://github.com/Kim2091/Kim2091-Models/releases/tag/2x-AnimeSharpV3
- ESRGAN, RCAN 2가지 종류 제공
* 더 자세한 정보는 링크를 참고
TL;DR
지루한 글이므로 아니메 기준으로 추천하자면,
빠른 업스케일을 원한다면 AnimeSharpV3, AnimeSharpV4 Fast, UltraSharpV2 Lite 중 취향에 맞는 걸로 쓰자.
AnimeSharpV4 Fast가 좀 더 선명한데, AI그림은 AnimeSharpV3처럼 덜 선명한 쪽이 나을 수 있음. (눈이나 이상한 선 같은 거 때문)
더 선명한 걸 원한다면, UltraSharpV2 Lite를 추천함.
극상의 퀄리티를 원한다면 UltraSharpV2나 AnimeSharpV4를 써보자.
다만, UltraSharpV2는 속도도 느리고 VRAM도 많이 먹는다.
AnimeSharpV3 RCAN과 AnimeSharpV4 RCAN은 차이가 크지 않아 보임.
기본적으로 모든 모델이 우리가 흔히 뽑는 832x1216 이미지에서는 훌륭한 퀄리티를 내줌.
결과물 비교
아래 링크 클릭하여 비교 가능
https://slow.pics/s/ZJ0iru3K?image-fit=contain&canvas-mode=fit-width
테스트 환경
- Intel 12600K, DDR4 3200 128GB, RTX4090 (전력제한 300W)
- Ubuntu 22.04
테스트 방법
총 6종류의 모델을 다음의 노드로 테스트함.
- ComfyUI 기본 노드인 Upscale Image (using Model)
- KJNodes 확장 노드인 Image Upscale With Model Batched
테스트는 생성속도와 생성품질 비교를 진행.
- 생성속도: 720x480 81프레임 webp 이미지를 전체를 업스케일. KJNodes의 경우 batch 수를 1, 8, 최대 3가지로 테스트
- 생성품질: 720x480 81프레임 webp 이미지 중 61번째 프레임을 업스케일한 결과를 비교
생성속도 비교
아래와 같이 Dummy Out으로 업스케일하여 생성속도를 측정.
생성속도가 많이 차이나는 경우 preview를 활성화하여 61번째 이미지를 확인.
결과는 아래와 같음.
- 노드나 batch 크기에 따른 결과물 차이는 없어 보임.
- 생성속도는 AnimeSharpV4 Fast가 KJNodes, 1배치일 때 6.97초로 가장 빨랐음.
- ComfyUI 기본 노드에서는 아래 순서로 빨랐음.
- AnimeSharpV4 Fast > AnimeSharpV3 > AnimeSharpV3 RCAN = AnimeSharpV4 RCAN > UltraSharpV2 Lite > UltraSharpV2
- RCAN 방식은 ComfyUI가 빨랐으며, 나머지는 KJNodes가 빨랐음.
- KJNodes에서는 UltraSharpV2 Lite가 AnimeSharpV4 RCAN, AnimeSharpV3 RCAN보다 빨랐음.
- DAT2와 RealPLKSR의 경우, KJNodes에서 Batch를 늘리면 속도가 빨라짐. 나머지는 배치에서 오히려 느려짐.
- UltraSharpV2를 사용한다면 KJNodes의 확장 노드 사용을 추천.
- 표에는 없지만 pth 버전과 safetensors 버전의 경우, 생성속도의 차이는 없는 것으로 보였음.
- 다만, AnimeSharpV3는 safetensor 크기가 절반인데, pth는 fp32인 것으로 보임.
- UltraSharpV2 Lite는 반대로 safetensors 크기가 2배인데, safetensors가 fp32임.
- 둘 다 생성속도와 VRAM 사용량이 동일했음. 어짜피 우리는 fp16으로 쓸거야, 아마.
- 다만, AnimeSharpV3는 safetensor 크기가 절반인데, pth는 fp32인 것으로 보임.
생성품질 비교
아래와 같이 animated webp에서 61번째 프레임을 가져와 업스케일 후 비교함.
우선 pth와 safetensors 결과가 동일한지 확인해본 결과 차이가 없었음.
2xAnimeSharpV3와 4x-UltraSharpV2_Lite 2개에서 이미지를 diff한 후 노출을 올려 차이가 있는지 확인함.
| 4x-UltraSharpV2_Lite.pth vs 4x-UltraSharpV2_Lite.safetensors | 4x-UltraSharpV2_Lite.pth vs 4x-UltraSharpV2.safetensors |
 |  |
AnimeSharpV3 RCAN과 AnimeSharpV4 RCAN은 차이가 있었음.
먼저, 원본을 nearest-exact로 2배로 확대한 이미지.
동영상으로 생성해서인지 노이즈가 많은 상태라 업스케일러 테스트에 적절해보였음.
아래는 가장 생성속도가 빨랐던 AnimeSharpV4 Fast의 결과.
이미 노이즈도 많이 잡았고, 선이 깨끗해진 것이 눈에 들어옴.
다만, 눈의 경우, 지나치게 날카롭게 업스케일링 된 거 같음.
| 원본 2x | 2x-AnimeSharpV3 | 2x-AnimeSharpV4 Fast |
 |  |  |
| 4x-UltraSharpV2 (0.5x) | 4x-UltraSharpV2 Lite (0.5x) | 2x-AnimeSharpV4 RCAN |
 |  |  |
눈만 한정하면, AnimeSharpV3가 눈 부분을 가장 부드럽게 처리했으나 선도 함께 부드러움.
AnimeSharpV4 Fast는 눈부분을 지나치게 강조하는 걸로 느껴짐.
AnimeSharpV4는 선은 Fast와 유사하게 선명하나 상대적으로 더 부드럽게 처리. (V3 RCAN도 동일)
UltraSharpV2와 UltraSharpV2 Lite는 선이 아주 선명하나 Lite는 지나치게 선명한 느낌도 듬.
이 두 모델은 볼 아래 blush line도 선명하게 해줌.
선명도만으로 본다면 아래 순서임.
UltraSharpV2 Lite > UltraSharp V2 > AnimeSharpV4 Fast > AnimeSharp V4 RCAN = AnimeSharp V3 RCAN > AnimeSharp V3
전체적인 느낌은 UltraSharpV2나 AnimeSharpV4가 개인적으로는 좋았음.
하지만 생성속도까지 생각하면 선명도에 따라 UltraSharpV2 Lite, AnimeSharpV4 Fast, AnimeSharpV3 (ESRGAN)을 쓸 거 같음.
특히 동영상 모델은 눈이 저렇게 샤프하게 처리하면 영상에 일렁이는 듯한 느낌이 남.
동영상용으로는 AnimeSharpV3를 쓰고, 크기를 2/3으로 resize할 거 같음. (실제 생성한 영상의 1.5배)
끝
