어제 네이버에서 자동채색 서비스를 시작해서 화제가 되고 있는데

사실 자동채색 자체는 예전에도 알을알음 연구되던 분야임

이건 2016년 ECCV에 Colorful Image Colorization이라는 논문인데, 그림에서 보이듯이 회색 이미지에 자동으로 색을 입혀주는 모델임

딥러닝 기반이고, 스케치 이미지에 대해서는 적용 불가능하지만 당시에는 꽤나 인정받은 논문이다.

뭐 이게 구체적으로 어떤 원리로 돌아가는지는 설명해봤자 의미가 없을테니 넘어가고, 위 논문을 비롯해서 딥러닝 기반의 자동채색 모델이 다수 나오게 됐는데 그중에는 스케치 이미지를 칼라 이미지로 바꿔주는 모델도 연구되기 시작함.

좌측은 네이버 자동채색 서비스로 색칠한 결과, 우측은 원본인데, 이렇게 놓고보면 아직 자동채색은 갈 길이 멀다는게 확 느껴질 거임

이게 처음 보는 사람은 잘 모르겠지만, 딥러닝 기반의 자동채색으로 이루어진 일러스트들을 보면 모델은 다 달라도 결과물의 그림체는 다 거기서 거기로 느껴지는데, 바로 이 점에서 기인하는 문제라고 볼 수 있다.

아마 이건 네이버측에서도 인지하고 있는거 같고, 그래서 이름을 '일러스트' 채색이 아니라 '웹툰' 채색으로 내지 않았나 싶긴 해

그리고 두번째 문제는 뭐냐하면

(2) 색칠된 결과가 서로 영역을 침범함

위 그림도 네이버 자동채색 예시인데, 잘보면 빨간색 원으로 표시한 부분의 색깔이 노란색으로 잘못 칠해진 걸 볼 수 있음

그 외에도 어깨쪽 피부색이나 몇몇 아쉬운 부분을 볼 수 있지.

이것이 바로 색깔침범의 대표적인 예시인데, 딥러닝 기반의 자동채색에서 가장 골치아픈 문제라고 볼수 있다.

물론 사용자가 추가적인 힌트를 더 주면 이런 색깔변조를 줄일 수 있지만, 이왕 자동으로 해주는 거 알아서 다 해주면 더 좋잖아?

대충 이렇게 해서 2가지 문제가 남아있다고 보면 됨.

어쩌다보니 네이버 자동채색을 까는 글이 되어버렸는데, 그렇다고 해서 네이버 자동채색이 구리다고 하는건 아니야. 개인적으로 몇번 돌려본 결과, 이번에 새로나온 네이버 자동채색은 이러한 색깔 오염침범 측면에서 가장 개선된 모델인 것이라 느꼈음. 결과물 퀄리티도 Paint Chainer에 비하면 훨씬 뛰어난 것같고.

사실 네이버 AI랩쪽에서 낸 논문 중에는 이런 색깔침범 문제를 줄이는 걸 주제로 삼은 논문도 있었고, 아마 그걸 이번 모델에도 적용했으리라 보는데, 여튼 그러함.

그리고 사실 자동채색쪽도 종류가 상당해서

이런 식으로 사용자가 힌트를 지정해주는게 아니라, 그냥 참고할 이미지만 넣어주면 알아서 그 참고할 이미지에 맞춰 채색해주는 모델도 존재함.

아예 참고할 이미지 없이 맨땅에서 색칠해주는 모델도 있고.

github에 colorization으로 검색해보면 코딩할 줄 아는 십덕들이 꽤 많이 만들어놨으니까 관심있으면 참고해도 좋을 듯?

여튼 이쯤에서 내용은 줄이고

오밤중에 영양가 없는 글 읽어줘서 감사함.