손실(Loss), 오차(Error)와 동의어.
비용 & 손실 & 오차는 엄밀히는 다르지만 실제값과 예측값 차이로 통용되서 많이쓰인다.
결론부터 말하면 아니다.
비용이 너무 낮으면 (Cost ≈ 0): 모델이 훈련 데이터를 완벽히 암기한 상태. 새로운 데이터에 대한 예측을 못하는 과적합(Overfitting) 상태일 위험이 매우 높음.
비용이 너무 높으면 (High Cost): 모델이 너무 단순해서 훈련 데이터의 패턴조차 제대로 학습하지 못한 상태. 훈련 및 테스트 모두에서 성능이 낮은 과소적합(Underfitting) 상태.
핵심심 과제 : 과적합과 과소적합 사이의 균형을 찾아, 일반화(Generalization) 성능이 가장 좋은 최적의 지점을 찾는 것이 관건.