일단 제목 어그로 ㅈㅅ
일단 하이퍼만 왜 이렇게까지 낮은 학습률이 정설로 받아들여지는지 도무지 이해가 안감
지금 가장 유행하고 있는 로라는 학습률 0.0001로 데이터 숫자당 100스텝이라는 낮은 스텝으로 학습하는게 정석인데
왜 하이퍼에만 굳이 높은 스텝을 요구하는 사람들이 유독 많은지 모르겠음
나 같은 경우는 11월에 하이퍼 학습할 때 부터 0.0001 학습률로 1천스텝 이하에서 학습을 끝냈음
근데 저번에 낮은 스텝으로 학습하는 사람 좀 보인다고 엄근진해져서
어허 감히! 신성한 하이퍼에서 삼천스텝이라니! 이런 근본없는 놈!
==
ex)요즘 하이퍼 돌리는 친구들중 스텝수 깔짝 돌리는사람 많길래 예시사진 들고옴
https://arca.live/b/hypernetworks/65022461
==
이런 글까지 나오는거 도무지 이해가 안됨
어차피 학습률은 개취라고는 하지만 1만스텝 2만스텝 심지어 10만스텝은 너무 사골끓이듯이 학습시키는거 아닌가?
댓글까지 보니 3~4만 스텝 추천하는데 난 이 정도 스텝도 충분히 많아 보임
