머신러닝 모델의 최적의 모수를 찾기 위한 알고리즘

모델의 성능을 측정하는 비용함수의 값이 최소가 되는 지점을 찾는 것

비용함수 그래프에서 경사가 가파른곳의 반대 방향으로 가며 가장 낮은 골자기(최소값)에 도달하는 방법

$ \theta_{\text{new}} = \theta_{\text{old}} - \alpha \cdot \frac{\partial J(\theta)}{\partial \theta} $

$ \theta_{\text{new}} $: 새로운 모수 (New Parameter). 한 번의 업데이트 후 다음 단계에서 사용될 가중치와 y절편 값.

$ \theta_{\text{old}} $ : 현재 모수 (Old Parameter). 업데이트를 수행하기 전의 현재 가중치와 y절편 값.

$ \alpha $ : 학습률 (Learning Rate). 한 번 업데이트할 때 이동하는 보폭의 크기를 결정.

$ \frac{\partial J(\theta)}{\partial \theta} $ : 경사(Gradient). 현재 모수 지점에서 비용함수 ($J$)의 기울기를 나타냄.

$ J(\theta) $: 비용함수 (Cost Function). 경사 하강법이 최소화하려는 함수(예: 평균제곱오차).

$ \theta $: 모수(Parameter). 모델이 학습해야 할 가중치와 y절편을 통칭.