[활성화 함수] SiLU(Swish) SiLU(Swish)란 sigmoid에 입력값을 한 번 더 곱해주는 모양이다. 연구에서 활성화 함수를 ReLU로 사용한 모델에서 단순히 SiLU로 바꾼 실험에서 SiLU가 ReLU를 압도한다고 한다. 그 이유는 정확하진 않지만 아래 4가지로 추측하고 있다. Unbounded above where x≥0 Bounded below where x AI 2023. 1. 13. 05:28
