아니 이걸 논문을 써오네 ㄷㄷ

아니 논문 리뷰를 써오신 줄 알았더니 논문을 써오시면 어떡합니까

글 중간에 colab demo (https://oo.pe/https://colab.research.google.com/drive/1ghPuNoOOW0YPCis7My2afIbHxyD18kPg?usp=sharing) 실행버튼  누르시면 쉽게 테스트해볼 수 있습니다!  감사합니다!

아무래도 ai그림 커뮤니티에서 쓰려면 그래야겠죠? 한번 시도해보겠습니다. 혹시 요즘은 webui보다 comfyui가 더 많이 쓰이는 추세인가요?

아.. 좀더 읽어보니 구조적으로 망친 샘플을 내부에서 다시 이쪽으로 가면 안되는 샘플로 잡고 가이드라인이 생기는 거군요.. 신기하네요

넵 답글달아주신 내용이 맞습니다! 의도적으로 perturbed sample을 만들어서 그 반대방향으로 보내주는거라고 보시면 됩니다. 그런데 perturbation을 아무렇게나 주면 잘 안되고, '나쁜 샘플'로 가는 방향의 반대방향이 '좋은 샘플'이 되도록, 나쁜 샘플을 잘 설계하는 것이 핵심입니다. 저희는 self-attention에 perturbation 을 줘서 원래 이미지의 외양를 최대한 유지하면서, 핵심 특징 (눈, 입) 등만 약화시키는 방식으로 이를 구현했습니다. 그래서 '나쁜 샘플'의 반대방향이 눈, 입과 같이 핵심 특징을 강화하는 방향으로 가이드를 줍니다.

넵 이해하신 방법이 정확히 맞습니다!

굉장히 예리한 통찰을 주셨는데, CFG는 cross attention 단에서 차이가 발생하고 PAG는 self attention 단에서 차이가 발생해서 서로 보완적으로 작동할 수 있습니다. 논문 Appendix E.2 에서 해당 내용을 분석해두었습니다! 간략히 말씀드리면 cross attention은 디노이징 초반에 많이 활성화되고, self attention은 이미지가 많이 형성된 후반에 많이 활성화되는 경향이 있어 CFG와 PAG를 같이 쓰면 전체 타임스텝에 걸쳐서 좋은 가이던스 시그널을 줄 수 있습니다.

좋은 아이디어인 것 같습니다! 저희는 self-attention을 perturb했을 때 perturbation이 너무 강하면 샘플이 OOD인 경우가 발생해서 문제가 생길 수 있다고 생각해서, CFG가 uncond를 따로 학습하는 것처럼 학습을 통해 OOD를 방지하는 방향으로만 생각했습니다. 그런데 self-attention 자체가 학습이 잘 안되어서 perturb가 별로 효과가 없는 경우가 있다면 그런식으로 self-attention이 잘 학습되도록 augmentation 을 줄 수 있을 것 같습니다. 저희는 training-free 방법론을 제안하지만 training을 허용하면 더 다양한 perturbation (블러 등)을 시도해볼 수 있습니다! 이는 Appendix E.1 마지막에  언급되어 있습니다.

위의 댓글 주신 것으로 보면 전역적인 feature 보다는 local feature 의 rectification 에 효과적인거 같은데, 그럼 early timestep 이나 높은 해상도의 unet block에 대해서는 PAG 를 skip하도록 하면 최적화에 효과적이지 않을까 생각이 드네요. 생략된 연산이 얼마나 결과물을 악영향을 줄지는 실험을 해봐야겠지만요..

이것도 굉장히 흥미로운 접근인데, 위의 분석에 의하면 초반에 CFG, 후반에 PAG를 주는 식으로 줄 수 있습니다. 전체적인 structure를 개선하고 싶다면 초반에만, fine detail을 개선하고 싶다면 후반에만 주는 식으로요. 그렇지만 일단은 그냥 전체 타임스텝에 걸쳐서 줘도 각 타임스텝에서 필요한 좋은 시그널을 알아서 주는 것으로 보이고 퀄리티가 충분히 좋아져서 제일 단순한 방법만을 제시했습니다! 그렇지만 충분히 시도해볼 가치가 있는 내용인 것 같습니다!

또 각 레이어별로 역할이 다르기 때문에 레이어 선택의 영향이 있을 수 있습니다! 레이어 깊이별 ablation과 레이어 여러 개를 조합했을 때 ablation도 Appendix D.2에 제시되어 있습니다.

저희 방법을 너무 잘 이해해주신 것 같아서 좋네요 ㅎㅎ

p(y), p(y^)는 class의 prior probability인데 log p(y)가 xt와 무관한 텀이기 때문에 그래디언트 취하면서 0이 됩니다! 구체적으로는  D의 분자 p(y|xt) (xt가 desired class일 확률)를 베이즈룰로 p(y)p(xt|y)/p(xt) 로 전개해서, uncondtional probability p(xt)는 분자분모에서 cancel out되고, desired class일 probability p(y)와, desired class y가 condition된 xt의 condtional probability p(xt|y)로 factorize되는데, xt에 대한 그래디언트기 때문에 xt와 무관한 텀인 log p(y)가 날라가는 것을 축약해서 표현했습니다! 표현을 더 명료하게 할 필요가 있겠네요. 감사합니다.

앗 같은 시드에서 생성된 게 맞습니다! 아래쪽 그림은 매 스텝에 PAG가 들어가고 있기 때문에 collapsed structure가 나타나지 않는 것으로 보시면 될 것 같습니다. t=T 주변을 보시면 inital latent는 같게 나타는 것을 보실 수 있는데, 초반 타임스텝부터 PAG에 의해 교정이 되고 있기 때문에 같은 시드임에도 collapsed structure가 나타나지 않는 것입니다!

이것도 꽤 혼동의 여지가 있는 것 같은데  same seed라는 말을 캡션에 넣어야겠네요. 감사합니다.

애니메이션 모델에서는 많이 테스트를 못해봤는데, 인체 표현 정확도가 높아지는 효과가 있다니 너무 좋네요ㅎㅎ 알려주셔서 감사합니다! pag_applied_layers_index는 perturbation을 적용할 레이어입니다. d는 down, m은 mid, u는 up block을 의미합니다. Fig.40을 보시면 가능한 레이어 목록과 대략적인 성능 (FID)가 나타나 있는데 이는 모델과 스케일에 따라 달라서 수치가 상대적으로 낮은 것들 중에 다양하게 시도해 보시는걸 추천드립니다!