오늘 돌려보면서 개인적으로 느낀거임

 layer normalization 이게 학습에 정확히 어떤 긍정적인 영향을 끼치는지는 잘 몰?루겠는데 

이 옵션을 설정했을때는 학습소스가 잘 반영이 안되는지 2만스텝정도 학습해도 사소할정도만 변하는거 같았는데 이거 옵션 끄니까 극적으로 변하네 


5레이어 / 배치사이즈2 / leakyrelu / lr 0.000005  

로 돌리고 있는데 같은 시드로 고정시켜놨을때 확실히 이전이랑다르게 빠르게 학습소스를 반영하는듯함