활성화값은 여기의 결과
신경망의 뉴런이 이전 뉴런으로부터 받은 입력신호의 총합 $ (W \cdot X + B)$ 을 계산 후,
해당 값을 활성화 함수에 넣어 값 뽑아서
여기서 뽑힌 값을 다음 뉴런에 넘김.
선형 계산의 결과값을 비선형으로 바꾸는 것.
구지 이런 행동을 하는 이유는
0. 활성화 함수는 계산된 값이 “얼마나 중요한가?”를 판단하여 신호를 조절하는 '스위치' 또는 '볼륨 조절기' 같은 역할을 하며,
1. 층을 깊게 쌓는 것을 의미 있게 만들고,
2. 직선만으로는 풀 수 없는 현실의 복잡한 문제를 해결할 능력을 갖추기 위해서