어떤 함수를 활성화 함수로 이용하는게 좋을까
스탠포드 대학교의 딥 러닝 강의 cs231n에서는 ReLU를 먼저 시도해보고, 그다음으로 LeakyReLU나 ELU 같은 ReLU의 변형들을 시도해보며, sigmoid는 사용하지 말라고 권장함.
출력층의 활성화 함수와 오차 함수의 관계
| 문제 | 활성화 함수 | 비용 함수 |
|---|---|---|
| 이진 분류 | 시그모이드 | nn.BCELoss() |
| 다중 클래스 분류 | 소프트맥스 | nn.CrossEntropyLoss() |
| 회귀 | 없음 | MSE |
<aside> 💡 4주차 실습코드
</aside>
<aside> 💡 4주차 문제
</aside>