전이학습(Transfer learning, TL)
개념
이미 대규모 데이터로 훈련된 모델(사전 훈련된 모델, Pre-trained Model)을 가져와서, 새롭지만 관련된 다른 문제에 재사용하는 딥러닝 기술
처음부터 모든 것을 학습하는 대신, 기존에 학습된 가중치, 파라미터를 '전이'받아 활용
예시
사전 훈련 (기존 지식): 수백만 장의 일반 사진(ImageNet 데이터셋)을 보고 '고양이', '개', '자동차', '나무' 등을 구별하도록 훈련된 모델 A가 있다.
이 모델은 이미 이미지의 기본적인 특징(선, 질감, 모서리, 형태 등)을 인식하는 방법을 학습했음으로,
이 모델 A를 가져와서, '특정 개의 품종(예: 비글, 푸들, 리트리버)'을 구별하는 새로운 모델 B를 만든다면,
모델 B는 모델 A가 학습한 '일반적인 이미지 인식 지식'을 그대로 이어받고, 우리는 '개의 품종'을 구별하는 약간의 추가 학습만 시키면 됨.
방법
1번 방법(은닉 레이어의 분류 레이어 수정) : 특징 추출(Feature Extraction): 사전 훈련된 모델의 앞부분(특징 추출부)은 그대로 두고(가중치 고정), 마지막 분류기(Classifier) 부분만 새로운 작업에 맞게 교체하여 훈련.
2번 방법(가중치 조정) : 미세 조정(Fine-Tuning): 사전 훈련된 모델의 가중치 전체(또는 일부)를 가져와서, 새로운 데이터에 맞게 조금 훈련시킵니다. (낮은 학습률 사용)