안녕하세요, 다중 레이어 구조, 활성화 함수 도입, 드롭아웃 추가, 레이어 정규화는 제가 안했음, 이번에 많은 활성화 함수 도입, 레이어 정규 초기화 넣은 놈입니다.

결론부터 말씀드리면 뭐가 좋은지는 아무도 모르고, 이게 왜 되는지도 모릅니다. 따라서 다양하게 시도해보고 실패해보셔도 됩니다.

대부분의 코드는 아무 생각 없이 넣었습니다. 그러니 너무 믿지 말아주세요. 뭔가 깊은 의미가 있겠지 = 없습니다. Relu가 첫번째인 이유가 있겠지 = 없습니다. Dropout이 0.3인 이유가 있겠지 = 없습니다.... Swish가 잘되는 이유가 있겠지 = 왜 잘됨??? 진짜 아무생각없이 넣었습니다.

그러나 어째서인지 일단 1, 2, 2, 1, Swish, Dropout키고, layer norm은 끄고, 학습률 1e-5 이하로 돌리고, 이미지를 최대한 얼굴만 따고 태그도 간결하게 넣으면 잘 된다고 하니 시행착오가 싫으신 분들은 그런 선지자 분들의 가이드를 따라가시면 되겠습니다. 

여러분이 어떻게 성공하고, 어떻게 실패했는지를 기록으로 남겨주셔서 이후 학습하는 사람들에게, 그리고 가이드를 작성하는 분들에게 도움이 되도록 데이터를 남겨주시면 큰 도움이 됩니다.