===== 전이학습(Transfer learning, TL) ===== ====개념==== 이미 대규모 데이터로 훈련된 모델(사전 훈련된 모델, Pre-trained Model)을 가져와서, 새롭지만 관련된 다른 문제에 재사용하는 딥러닝 기술 \\ 처음부터 모든 것을 학습하는 대신, 기존에 학습된 [[통계학:가중치]], [[머신러닝:파라미터]]를 '전이'받아 활용 \\ \\ ===예시=== 사전 훈련 (기존 지식): 수백만 장의 일반 사진(ImageNet 데이터셋)을 보고 '고양이', '개', '자동차', '나무' 등을 구별하도록 훈련된 모델 A가 있다.\\ 이 모델은 이미 이미지의 기본적인 특징(선, 질감, 모서리, 형태 등)을 인식하는 방법을 학습했음으로, \\ 이 모델 A를 가져와서, '특정 개의 품종(예: 비글, 푸들, 리트리버)'을 구별하는 새로운 모델 B를 만든다면, \\ 모델 B는 모델 A가 학습한 '일반적인 이미지 인식 지식'을 그대로 이어받고, 우리는 '개의 품종'을 구별하는 약간의 추가 학습만 시키면 됨. \\ \\ ==== 방법 ==== 1번 방법(은닉 레이어의 분류 레이어 수정) : 특징 추출(Feature Extraction): 사전 훈련된 모델의 앞부분(특징 추출부)은 그대로 두고(가중치 고정), 마지막 분류기(Classifier) 부분만 새로운 작업에 맞게 교체하여 훈련. \\ 2번 방법(가중치 조정) : 미세 조정(Fine-Tuning): 사전 훈련된 모델의 가중치 전체(또는 일부)를 가져와서, 새로운 데이터에 맞게 조금 훈련시킵니다. (낮은 학습률 사용) \\