1. ReLU
활성함수 중에 가장 유명한거.
0 기준으로 미만은 그냥 0을 내뱉고
그 이상은 선형으로 증가함.
그러다보니, 한번 버려버린 특성은 그냥 날아가고
몇번 강하게 학습한 특성은 한도끝도 없이 커진다는 특징이 있음.
그래서 아키텍처가 아주 깊은 심층학습, 그러니까 진정한 딥-러닝에는 유용함.
일반적으로 많이 쓰는만큼 적절한 특성.
그런데 가끔 이게 안먹힌다- 그러면 대안으로 주로 쓰는게
2. Softmax
소프트맥스는 일종의 시그모이드 곡선 변형임.
특징으로는 값들을 합이 1이고 늘 양수인 확률분포로 노말라이제이션 된 함수임.
그래서 Softmax를 지나도 값의 상대적인 순위는 변하지 않는다는 특징이 있음.
이게 뭔소리냐, 하면
ReLU 같은 녀석은 학습했던 데이터 중에 강렬한 특성이 있다면
다른 옆동네에서 학습한 것 중에 특성이 상대적으로 덜한 놈에 비해 학습 특성이 굉장히 강하게 됨.
좀더 쉽게 설명하면, ReLU가 특정 화풍을 학습하는 중에 그 화풍을 결정하는 요소 하나가 강한게 있다면 (ex: 눈을 좀 크게 그린다던지)
다른 특성에 대한 학습이 상대적으로 덜 되는 특징이 있음.
그래서 화풍 같은게 여러가지 특성이 있다면 의외로 ReLU로 학습이 잘 안될수도 있는데, 그걸 대응하기 좋음.
단점은 반대로 ReLU 처럼 특정 특징 하나를 핀포인트로 뽑아내는걸 잘 못함
3. tanh
계산기에 붙어있는 그 탄젠트 하이퍼볼릭 맞다.
대체로 표현 가능한 범위가 넓고, 기울기 특성도 좋아 바운드가 필요하지만,
예외처리나 마이너한 요소의 영향력이 있을수도 있는 (ex : 언어 번역) RNN 계열에 많이 쓰인다.
바꿔말하면 시도때도 없이 학습에서 버렸어야 했던 요소들이 뜬금없이 튀어나올 수도 있지만,
그만큼 복잡한 요소를 표현하는데는 도움이 될수도 있다.
이게 뭔소리냐 하면,
파리 를 영어로 번역한다 그럴때, 이게 프랑스 도시 파리인지 날라다니는 벌레인 파리인지는 앞뒤 구문없이 알기 어렵고
그런것 처럼 주변특성을 확인해야 할 때 ReLU 같은건 대부분 둘 중 하나로 확정적으로 말할 확률이 높지만
tanh는 그래도 어느정도 경우를 따져서 쓰도록 학습할 수 있게 된다.
단점은 위에 언급한대로 시도때도 없이 이상한게 튀어나올 수 있음.
4. Leaky ReLU
ReLU의 약점인, 마이너한 요소를 너무 쉽게 버린다는걸 카바치기 위해 나온 활성함수.
한마디로 버려버릴 놈들을 목숨은 붙여서 살려는 두는 형태다.
ReLU처럼 다른요소를 너무 쉽게 버리는걸 막기 위함.
위에 내용을 읽었다면 대충 이게 무슨의미인진 이해하리라 믿음.
끝
