결론부터 말하면 YES! 올려야 한다.


로라를 만들 때 Train batch size를 올리면 Learning rate를 같이 올려야 한다는 이야기가 그냥 받아지고 있다. 나도 그렇게 쓰고 있었다.
예를 들어,  Train batch size 1일 때 Learning rate를 1E-4를 썼으면  Train batch size를 2로 올리면 Learning rate를 2E-4로 해야 한다는 거지. 무슨 근거로 이런 띠어리가 나왔는 지 모르겠지만, 그냥 받아들여서 사용하다가 찜찜하더라.
그래서 확인해 보았다.


아래에 내가 올린 "실사로라 만드는 과정 전부 - xRica 님의 실사로라 캠페인 참여" (https://arca.live/b/hypernetworks/77378256?mode=best)에 나와있는 Learning rate의 최적값을 찾는 방법으로 Train batch size를 올려서 테스트 해보았다. 
(가정은 이 방법이 Learning rate의 최적값을 찾아준다는 거지. 이 가정이 틀리면 이 정보는 그냥 쓰레기야. 아님 말구)Train batch size 1 보라색 / 2 초록색 / 3 주황색 / 4 군청색 이다. 
Learning rate의 최적값: Train batch size 1: 1.04E-4 / 2: 2.99E-4 / 3: 4.12E-4 / 4: 3.95E-4 이다. 
Train batch size를 키우면 Learning rate의 최적값이 커진다. 

(3에서 4로 배치를 바꾸면 Learning rate의 최적값이 줄어든다, 이건 뭐지? 몰라)


참고로, 로라는 스탠다드, Network Rank (Dimension) 128, Network Alpha 128,  Learning rate, Text Encoder learning rate, Unet learning rate 모두 1, 데이터 실사 사진 512, 512)

결론: Train batch size를 올리면 Learning rate를 키워야 한다는 이야기는 해골물이 아니다. 옳다!!  Train batch size를 올리면 Learning rate도 키우자. 

혹시 Train batch size를 올리면 Learning rate를 올려야 하는 다른 이유가 있을 수도 있지. 꼭 알려주라.

(근거 1도 없는 생각: 각잡고 로라를 만들 때, 배치를 1을 써야 한다고 생각하고 있어. 
실제로 로라가 배치를 1로 했을 때가 배치를 키울 때보다 좋더라. 
HOXY, 최적 Learning rate가 커지는 것과 관계있지 않을까? 
Learning rate라는 것이 결국 조각을 할 때 떼어내는 정도라고 이해하면, 작게 살살 떼어내는 결과물이 더 좋으니까 (과적합 빼고))