비용(Cost)과 모델 성능의 관계

손실(Loss), 오차(Error)와 동의어

학습 목표: 모델의 성능을 높이기 위해 비용(벌점)을 낮추는 것이 목표

비용이 너무 낮으면 (Cost ≈ 0): 모델이 훈련 데이터를 완벽히 암기한 상태. 새로운 데이터에 대한 예측을 못하는 과적합(Overfitting) 상태일 위험이 매우 높음.
비용이 너무 높으면 (High Cost): 모델이 너무 단순해서 훈련 데이터의 패턴조차 제대로 학습하지 못한 상태. 훈련 및 테스트 모두에서 성능이 낮은 과소적합(Underfitting) 상태.

핵심심 과제 : 과적합과 과소적합 사이의 균형을 찾아, 일반화(Generalization) 성능이 가장 좋은 최적의 지점을 찾는 것이 관건.