아니 그냥 다층 레이어하고 활성화 함수 대충 구현해서 넣으면 다들 알아서 PR해서 좀 제대로 된 머신러닝 환경이 만들어지겠지? 한건데 왜 아무도 안해요? 

왜 이리 일이 커짐? 어째서...

활성화 함수는 있으면 비선형 네트워크가 만들어질 수 있습니다. 차이점은 활성화 함수가 있더라도 선형 함수를 학습할 수 있고

활성화 함수가 없으면 비선형 함수는 학습할 수가 없습니다.

다만 장단점이 있는게 활성화 함수가 없으면 대체로 최소자승법의 경향을 따라갑니다.  

좋게 보면 그림들의 공통적인 특징을 빠르게 잘 잡아냅니다.

나쁘게 보면 전부 똑같은 특징만 가진 그림이 됩니다. 예를 들어 잘 보면 모든 그림이 입이 점이라던가(...)

애초에 뭐가 훨씬 좋다고 넣은 기능이 아닙니다... 여러 사례가 있듯이 둘다 잘되는게 맞는데 데이터셋 질이 더 중요합니다.

그리고 학습률도 너무 낮추면 좋은게 아닙니다. 적당히 높아야 합니다. 

드롭아웃은 아니 예시 코드를 짜놨는데 왜 그대로 넣었는지 저도 모름; 예시인데 어째서 0.3 그대로 들어감?

레이어 정규화는 초기 가중치가 그지같을때 효과적이라지만 저는 솔직히 회의적인 입장입니다. 처음부터 초기화를 잘하는게 나은게 아닐까? 싶은데...

애초에 첫 1000에포크 해보고 실패하면 버리는게 정상이고, 실패가 성공보다 많은게 정상이라서 사실 너무 깊이 생각하지말고 많이 시도하는걸 추천드립니다. 막 10만회 계속하기 그런거 왠만하면 추천드리지 않습니다.

누가 torch.load로 구조좀 바꿔줬으면... 근데 그러면 또 바이러스 걱정이 되겄지... 아이고 모르겄다...