기초, 방법론, 그리고 미래 전망
인간의 지능은 새로운 기술이나 지식을 완전히 처음부터 학습하는 대신, 기존에 축적된 경험과 지식을 새로운 문제에 적용하여 학습 효율을 극대화하는 능력을 특징으로 합니다. 예를 들어, 자전거 타는 법을 배운 사람은 균형 감각과 조정 능력을 이미 체득했기 때문에 오토바이를 배울 때 훨씬 수월함을 느낍니다.1 이러한 ‘지식의 재사용’이라는 직관적 개념은 기계 학습 분야에서 전이 학습(Transfer Learning)의 근본적인 동기가 되었습니다.3
전통적인 기계 학습 패러다임에서는 각각의 과업(task)을 독립적으로 취급하여, 새로운 과업이 주어질 때마다 해당 과업에 특화된 모델을 처음부터 훈련시켜야 했습니다. 이는 마치 새로운 악기를 배울 때마다 이전에 다른 악기를 연주하며 익혔던 음악 이론이나 손가락 민첩성을 모두 잊고 원점에서 시작하는 것과 유사한 비효율을 낳습니다. 전이 학습은 이러한 한계를 극복하기 위해, 특정 문제(소스 도메인, source domain)를 해결하며 학습된 지식을 관련성이 있는 다른 문제(타겟 도메인, target domain)에 이전하여 새로운 모델의 학습을 더 빠르고 효율적으로 만드는 접근법입니다.1 이처럼 전이 학습은 인간의 학습 방식을 모방하여 인공지능이 보다 효율적이고 일반화된 지능을 갖추도록 하는 핵심적인 다리 역할을 합니다.
전이 학습의 부상은 단순한 기술적 혁신을 넘어, 현대 딥러닝이 직면한 실용적이고 경제적인 문제에 대한 필연적인 해결책으로서 등장했습니다. 딥러닝 모델, 특히 심층 신경망(Deep Neural Networks)의 성공은 대규모의 정제된 레이블링 데이터와 막대한 연산 자원을 전제로 합니다. 그러나 이러한 전제 조건은 많은 현실 세계의 응용 분야에서 심각한 장벽으로 작용합니다.
첫째, 데이터 희소성(Data Scarcity) 문제입니다. 대부분의 기계 학습 알고리즘은 훈련 데이터와 테스트 데이터가 동일한 특징 공간(feature space)과 분포를 가져야 한다는 가정을 기반으로 하지만, 실제 응용에서는 이 가정이 깨지는 경우가 빈번합니다.9 특히 의료, 금융, 제조 등 전문 분야에서는 고품질의 레이블링 데이터를 대량으로 확보하는 것이 시간과 비용 측면에서 매우 비효율적이거나 불가능에 가깝습니다.8 전이 학습은 데이터가 풍부한 일반적인 도메인(예: ImageNet 데이터셋의 수백만 개 이미지)에서 학습된 지식을 데이터가 부족한 특정 도메인으로 이전함으로써, 적은 양의 타겟 데이터만으로도 높은 성능의 모델을 구축할 수 있게 합니다.1
둘째, 연산 비용(Computational Cost) 문제입니다. 거대 언어 모델(LLM)이나 복잡한 컴퓨터 비전 모델을 처음부터 훈련시키는 데는 수 주에서 수 개월의 시간과 고가의 GPU 클러스터가 필요합니다.5 이는 컴퓨팅 자원이 제한된 중소기업, 연구 기관, 개인 개발자에게는 감당하기 어려운 부담입니다. 전이 학습은 이미 막대한 자원을 투입하여 훈련된 ‘사전 훈련 모델(pre-trained model)’을 활용함으로써 이러한 연산 비용을 극적으로 절감합니다.1 모델 개발 시간을 단축하고, 더 적은 수의 에포크(epoch)만으로도 모델이 빠르게 수렴하도록 하여 AI 기술에 대한 접근성을 높이는 민주화 효과를 가져왔습니다.1
결론적으로, 전이 학습은 데이터와 자원의 제약이라는 딥러닝의 근본적인 한계에 대한 가장 실용적인 해법입니다. 이는 모델 성능 향상, 일반화 능력 증대, 과적합 감소 등의 부가적인 이점까지 제공하며 1, 현대 인공지능 개발 패러다임을 ‘처음부터 훈련(training from scratch)’에서 ‘사전 훈련 후 미세 조정(pre-train and fine-tune)’으로 전환시키는 결정적인 계기가 되었습니다.
직관적인 이해를 넘어 전이 학습을 학문적으로 엄밀하게 다루기 위해서는 그 개념을 공식적으로 정의할 필요가 있습니다. 전이 학습은 하나의 소스 과업 또는 도메인에서 학습된 모델의 지식을 재사용하여, 관련성이 있는 다른 타겟 과업 또는 도메인에서의 모델 성능을 개선하는 기계 학습 기법으로 정의됩니다.1
이 분야의 선구적인 연구인 Pan과 Yang의 논문에서는 전이 학습을 다음과 같이 통합적으로 정의하였습니다. 소스 도메인 $D_S$와 소스 학습 과업 $T_S$, 그리고 타겟 도메인 $D_T$와 타겟 학습 과업 $T_T$가 주어졌을 때, 전이 학습의 목표는 $DS \ne DT$ 또는 $T_S \ne T_T$인 조건 하에서, $D_S$와 $T_S$에 존재하는 지식을 활용하여 $D_T$에서의 타겟 예측 함수 $f_T(\cdot)$의 학습을 향상시키는 것입니다.5
이 정의는 전이 학습이 적용되는 조건을 명확히 합니다. 즉, 소스 환경과 타겟 환경이 도메인 측면에서 다르거나(예: 데이터의 특징이나 분포가 다름), 과업 측면에서 다를 때(예: 예측해야 할 레이블이나 조건부 확률이 다름) 지식 이전이 필요하다는 것을 의미합니다. 이 형식적인 정의는 이후에 논의될 다양한 전이 학습 방법론을 체계적으로 분류하고 이해하는 데 필수적인 기반을 제공합니다.
전이 학습이라는 개념은 어느 날 갑자기 등장한 것이 아니라, 기계가 인간처럼 지속적으로 학습하고 지식을 축적해야 한다는 오랜 학문적 탐구의 결과물입니다. 그 지적 뿌리는 1995년 NIPS(현재 NeurIPS)에서 열린 “학습하는 법을 배우기(Learning to Learn)” 워크숍으로 거슬러 올라갑니다.4 이 워크숍에서는 이전에 학습한 지식을 유지하고 재사용하는 평생 기계 학습(lifelong machine-learning) 시스템의 필요성이 집중적으로 논의되었으며, 이는 전이 학습의 핵심 철학과 정확히 일치합니다.
초기 연구들은 “귀납적 전이(inductive transfer)”, “다중 과업 학습(multi-task learning)”, “메타 학습(meta-learning)” 등 다양한 이름으로 지식 재사용의 가능성을 탐구했습니다.4 이들은 각기 다른 관점과 방법론을 가졌지만, 고립된 과업 학습의 한계를 극복하고 지식의 일반화와 이전을 추구한다는 공통된 목표를 공유했습니다.
현대적 의미의 전이 학습이 독립된 연구 분야로 확립된 결정적인 계기는 2005년 미국 국방고등연구계획국(DARPA)의 발표였습니다. DARPA는 정보 처리 기술 사무소(IPTO)를 통해 “이전 작업에서 학습한 지식과 기술을 새로운 작업에 인식하고 적용하는 능력”으로서의 전이 학습에 대한 새로운 연구 임무를 제시했습니다.4 이 정의는 특히 다중 과업 학습과의 중요한 차이점을 부각시켰습니다. 다중 과업 학습이 모든 과업을 동등하게 취급하며 동시에 성능을 최적화하는 것을 목표로 하는 반면, 전이 학습은 소스 과업의 지식을 활용하여 오직
타겟 과업의 성능을 개선하는 데 비대칭적으로 초점을 맞춘다는 점을 명확히 했습니다.4 이로써 전이 학습은 모호한 개념의 집합에서 명확한 목표와 방법론을 갖춘 독자적인 학문 분야로 발돋움하게 되었습니다.
전이 학습을 체계적으로 이해하기 위해서는 그 구성 요소인 ‘도메인’과 ‘과업’을 수학적으로 엄밀하게 정의해야 합니다. Pan과 Yang의 연구에서 제시된 형식적 정의는 이 분야의 표준적인 프레임워크를 제공합니다.9
도메인(Domain, $D$): 도메인은 학습이 이루어지는 대상의 집합을 의미하며, 두 가지 핵심 요소로 구성됩니다.
소스 도메인과 타겟 도메인이 다르다는 조건($D_S \ne D_T$)은 특징 공간 자체가 다르거나($X_S \ne X_T$, 예: 소스는 영어 텍스트, 타겟은 독일어 텍스트) 또는 특징 공간은 같지만 데이터의 분포가 다른 경우($P_S(X) \ne P_T(X)$, 예: 소스는 일반 사진, 타겟은 의료 영상)를 의미합니다.9
과업(Task, $T$): 특정 도메인 $D$ 내에서 수행하고자 하는 구체적인 학습 목표를 의미하며, 이 또한 두 가지 요소로 구성됩니다.
| 목적 예측 함수(Objective Predictive Function, $f(⋅)$): 입력 데이터 $x \in \mathcal{X}$를 출력 레이블 $y \in \mathcal{Y}$로 매핑하는 함수입니다. 이 함수는 훈련 데이터를 통해 학습되며, 확률적으로는 조건부 확률 분포 $P(Y | X)$로 표현될 수 있습니다. |
소스 과업과 타겟 과업이 다르다는 조건($T_S \ne T_T$)은 레이블 공간이 다르거나($Y_S \ne Y_T$, 예: 소스는 2개 클래스 분류, 타겟은 10개 클래스 분류) 또는 레이블 공간은 같지만 입력과 출력 간의 관계, 즉 조건부 확률 분포가 다른 경우($P(Y_S∣X_S) \ne P(Y_T∣X_T)$, 예: 각 클래스의 데이터 불균형 정도가 다름)를 의미합니다.17
이러한 형식적 정의는 왜, 그리고 어떻게 두 학습 문제가 다른지를 정밀하게 기술할 수 있는 언어를 제공합니다. 이는 단순히 “관련 있다”는 모호한 표현을 넘어, 도메인 불일치의 원인이 특징 공간의 차이인지, 데이터 분포의 차이인지, 아니면 과업의 목표 자체가 다른지를 명확히 구분할 수 있게 해줍니다. 이처럼 문제의 성격을 정확히 진단하는 능력은 뒤이어 설명될 다양한 전이 학습 시나리오에 맞는 최적의 전략을 선택하는 데 결정적인 역할을 합니다.
표 1: 전이 학습의 형식적 정의
| 구성 요소 | 기호 | 설명 | 예시 |
|---|---|---|---|
| 도메인 (Domain) | $D={X,P(X)}$ | 학습 데이터가 존재하는 대상 영역. 특징 공간과 데이터의 확률 분포로 정의됨. | 소스 도메인: 일반 웹 문서, 타겟 도메인: 법률 문서 |
| - 특징 공간 | $\mathcal X$ | 데이터 인스턴스가 표현되는 공간. | 단어 벡터 공간, 이미지 픽셀 공간 |
| - 주변 확률 분포 | $P(X)$ | 특정 데이터 샘플 X가 나타날 확률. | 웹 문서에서는 일상 용어 빈도가 높고, 법률 문서에서는 전문 용어 빈도가 높음. |
| 과업 (Task) | $T={\mathcal Y,f(⋅)}$ | 특정 도메인 내에서 수행할 예측 목표. 레이블 공간과 예측 함수로 정의됨. | 소스 과업: 문서 주제 분류, 타겟 과업: 문서 감성 분석 |
| - 레이블 공간 | $\mathcal Y$ | 예측 결과의 집합. | 주제 분류: {정치, 경제, 사회}, 감성 분석: {긍정, 부정} |
| - 목적 예측 함수 | $f(\cdot) \approx P(Y)$ | 입력 X를 레이블 Y로 매핑하는 함수. | |
| 전이 학습 | - | $D_S \ne D_T$ 또는 $T_S \ne T_T$일 때, $D_S$와 $T_S$의 지식을 활용하여 $D_T$에서 $f_T(\cdot)$의 학습을 개선하는 것. | 웹 문서로 학습된 주제 분류 모델의 지식을 활용하여, 법률 문서에 대한 감성 분석 모델의 성능을 향상시킴. |
전이 학습 문제는 그 성격에 따라 다양하게 분류될 수 있습니다. 이러한 분류 체계는 특정 문제에 가장 적합한 접근법을 선택하기 위한 체계적인 프레임워크를 제공합니다. 여러 분류 기준이 존재하지만, 이들은 상호 배타적이지 않고 오히려 문제를 다각적으로 분석하는 보완적인 렌즈 역할을 합니다. 예를 들어, 하나의 전이 학습 시나리오는 레이블 데이터 유무, 특징 공간의 관계, 지식 이전 메커니즘이라는 세 가지 관점에서 동시에 기술될 수 있습니다.
이 분류는 소스 및 타겟 도메인에서 사용 가능한 레이블 데이터의 종류에 따라 전이 학습을 구분하는 가장 일반적인 방식입니다.5
귀납적 전이 학습 (Inductive Transfer Learning)
타겟 도메인에 레이블이 지정된 데이터가 존재하는 경우입니다. 소스 과업과 타겟 과업은 다르지만, 이 레이블링된 타겟 데이터를 사용하여 타겟 도메인에 맞는 새로운 예측 모델을 ‘귀납적으로’ 학습합니다. 현대 딥러닝에서 가장 흔히 볼 수 있는 ‘사전 훈련 후 미세 조정’ 시나리오가 바로 여기에 해당합니다.3 예를 들어, ImageNet으로 사전 훈련된 모델을 소량의 레이블링된 의료 영상 데이터로 미세 조정하여 질병을 진단하는 모델을 만드는 경우가 대표적입니다.
변환적 전이 학습 (Transductive Transfer Learning)
소스 과업과 타겟 과업은 동일하지만 도메인이 다른 경우에 적용됩니다. 소스 도메인에는 레이블링된 데이터가 풍부하지만, 타겟 도메인에는 레이블이 전혀 없는 데이터만 존재합니다. 학습의 목표는 이 레이블 없는 타겟 데이터에 대한 예측값을 생성하는 것입니다. 이 접근법은 소스 도메인과 타겟 도메인 간의 데이터 분포 차이를 줄이는 데 초점을 맞추며, 도메인 적응(Domain Adaptation) 이라는 이름으로 더 잘 알려져 있습니다.1 예를 들어, 합성 이미지로 학습된 모델을 실제 사진에 적용하거나, 특정 상품(예: 책)에 대한 리뷰로 학습된 감성 분석 모델을 다른 상품(예: 영화) 리뷰에 적용하는 사례가 이에 속합니다.
비지도 전이 학습 (Unsupervised Transfer Learning)
귀납적 전이 학습과 유사하게 소스 과업과 타겟 과업이 다를 수 있지만, 소스 도메인과 타겟 도메인 모두에 레이블링된 데이터가 없는 경우입니다. 주로 군집화(clustering), 차원 축소, 이상 탐지(anomaly detection)와 같은 비지도 학습 과업에 초점을 맞춥니다.1 예를 들어, 레이블 없는 대규모 뉴스 기사 데이터에서 학습한 토픽 모델링 지식을 활용하여, 역시 레이블 없는 소셜 미디어 텍스트 데이터에서 새로운 토픽을 더 효과적으로 군집화하는 경우가 해당됩니다.
이 분류는 소스 도메인과 타겟 도메인의 데이터가 동일한 특징 공간에서 표현되는지 여부에 따라 구분됩니다.13
동종 전이 학습 (Homogeneous Transfer Learning)
소스 도메인과 타겟 도메인의 특징 공간이 동일한 경우입니다 ($XS=XT$). 즉, 데이터를 표현하는 특징들의 종류와 차원이 같습니다. 하지만 두 도메인 간 데이터의 주변 확률 분포($P(X)$)나 조건부 확률 분포($P(Y∣X)$)는 다를 수 있습니다. 이 경우, 전이 학습의 주요 과제는 이러한 분포 차이, 즉 공변량 변화(covariate shift)나 표본 선택 편향(sample selection bias)을 보정하는 것입니다.13 예를 들어, 동일한 센서에서 수집된 데이터라도 주간과 야간의 분포가 다른 경우, 또는 같은 언어로 작성된 문서라도 분야에 따라 단어 사용 빈도가 다른 경우가 동종 전이 학습에 해당합니다.
이종 전이 학습 (Heterogeneous Transfer Learning)
소스 도메인과 타겟 도메인의 특징 공간이 서로 다른 경우입니다 ($XS \ne XT$). 예를 들어, 이미지(픽셀 벡터)에서 텍스트(단어 임베딩)로 지식을 전이하거나, 서로 다른 언어 간에 지식을 전이하는 경우가 여기에 속합니다. 이종 전이 학습은 분포 적응뿐만 아니라, 서로 다른 특징 공간을 공통의 잠재 공간(latent space)으로 매핑하는 ‘특징 공간 적응’ 과정이 추가로 필요하기 때문에 동종 전이 학습보다 훨씬 더 복잡하고 도전적인 문제입니다.13
이 분류는 ‘어떤 종류의 지식을’ 그리고 ‘어떻게’ 이전할 것인지에 대한 구체적인 메커니즘을 기준으로 합니다. 이는 포괄적인 서베이 논문들에서 제시된 분류 체계를 종합한 것입니다.5
인스턴스 기반 전이 (Instance-based Transfer)
소스 도메인의 데이터 샘플(인스턴스) 중에서 타겟 도메인의 데이터와 유사한 샘플들을 선별하거나, 각 샘플에 가중치를 재조정하여 타겟 모델 학습에 활용하는 방식입니다. 핵심 아이디어는 타겟 도메인과 분포가 유사한 소스 데이터에 더 높은 가중치를 부여하여, 소스 데이터가 타겟 분포에 더 잘 부합하도록 만드는 것입니다.5
특징 표현 기반 전이 (Feature-representation Transfer)
소스 도메인과 타겟 도메인 모두에 잘 일반화될 수 있는 ‘좋은 특징 표현’을 학습하는 데 중점을 둡니다. 목표는 두 도메인 간의 분포 차이를 최소화하면서도 데이터의 중요한 정보를 보존하는 새로운 특징 공간을 찾는 것입니다. 딥러닝에서 사전 훈련된 모델의 초기 레이어들을 ‘특징 추출기(feature extractor)’로 사용하는 것이 이 전략의 가장 대표적인 예시입니다.5
파라미터 기반 전이 (Parameter-based Transfer)
소스 모델과 타겟 모델이 특정 모델 파라미터(가중치)나 하이퍼파라미터의 사전 분포(prior distribution)를 공유한다고 가정하는 방식입니다. 사전 훈련된 모델의 가중치를 가져와 타겟 모델의 초기값으로 사용하고 미세 조정하는 것이 이 전략의 핵심입니다. 두 과업이 관련성이 있다면, 학습된 모델의 구조나 가중치가 유사할 것이라는 가정에 기반합니다.5
관계 지식 기반 전이 (Relational-knowledge Transfer)
데이터 샘플들 간의 관계나 논리적 구조에 대한 지식을 이전하는 방식입니다. 개별 인스턴스가 아닌, 데이터 간의 관계 네트워크(예: 소셜 네트워크, 지식 그래프)가 소스 도메인과 타겟 도메인에서 유사한 패턴을 보일 것이라 가정하고 이 관계 정보를 활용합니다.5
표 2: 전이 학습 접근법의 통합 분류 체계
| 동종 전이 학습 (Homogeneous TL) ($X_S=X_T$) | 이종 전이 학습 (Heterogeneous TL) ($X_S \ne X_T$) | |
|---|---|---|
| 귀납적 전이 학습 (Inductive TL) 타겟 레이블: O | 시나리오: 동일한 특징 공간, 다른 과업 (예: ImageNet 이미지로 사전 훈련 후, 특정 종류의 꽃 이미지 분류로 미세 조정) 주요 전략: 파라미터 기반 전이 (미세 조정), 특징 표현 기반 전이. | 시나리오: 다른 특징 공간, 다른 과업 (예: 텍스트 설명으로 이미지를 생성하는 모델 학습) 주요 전략: 특징 표현 기반 전이 (공통 잠재 공간 학습). |
| 변환적 전이 학습 (Transductive TL) 타겟 레이블: X | 시나리오: 동일한 특징 공간, 동일 과업, 다른 분포 (도메인 적응) (예: 한 병원의 X-ray 이미지로 학습 후, 다른 병원의 레이블 없는 X-ray 이미지 분류) 주요 전략: 인스턴스 기반 전이 (가중치 재조정), 특징 표현 기반 전이 (분포 정렬). | 시나리오: 다른 특징 공간, 동일 과업, 다른 분포 (예: 영어 문서 분류 모델을 레이블 없는 독일어 문서 분류에 적용) 주요 전략: 특징 표현 기반 전이 (공통 특징 공간으로 매핑). |
| 비지도 전이 학습 (Unsupervised TL) 소스/타겟 레이블: X | 시나리오: 동일한 특징 공간, 비지도 과업 (예: 대규모 뉴스 기사 군집화 지식을 소셜 미디어 텍스트 군집화에 활용) 주요 전략: 특징 표현 기반 전이 (공유 표현 학습). | 시나리오: 다른 특징 공간, 비지도 과업 (예: 이미지 군집화 지식을 관련 텍스트 문서 군집화에 활용) 주요 전략: 특징 표현 기반 전이 (교차 모달리티 표현 학습). |
현대 인공지능, 특히 딥러닝 분야에서 전이 학습은 이론적 개념을 넘어 구체적이고 강력한 구현 전략으로 자리 잡았습니다. 그 중심에는 대규모 데이터셋으로 사전 훈련된 모델을 활용하는 패러다임이 있으며, 이를 적용하는 두 가지 핵심적인 방법론은 ‘특징 추출’과 ‘미세 조정’입니다. 이 두 전략은 모델의 가중치를 어떻게 다룰 것인지에 대한 근본적인 차이를 가지며, 문제의 성격과 가용 자원에 따라 전략적으로 선택되어야 합니다.
현대 전이 학습의 성공은 ImageNet과 같은 대규모 이미지 데이터셋이나 위키피디아, 구글 뉴스 등 방대한 텍스트 코퍼스로 미리 훈련된 심층 신경망 모델의 존재 덕분입니다.11 VGG, ResNet, Inception과 같은 컴퓨터 비전 모델이나 BERT, GPT와 같은 자연어 처리 모델은 이러한 대규모 데이터로부터 세상에 대한 일반적이고 보편적인 지식을 학습한 ‘지식 저장소’와 같습니다.26
이러한 모델의 강력함은 계층적 특징 학습(hierarchical feature learning) 능력에서 비롯됩니다. 예를 들어, 이미지 분류 모델의 초기 레이어(layer)들은 이미지의 가장 기본적인 요소인 엣지, 색상, 질감과 같은 저수준 특징(low-level features)을 학습합니다. 더 깊은 레이어로 갈수록 이러한 저수준 특징들이 조합되어 눈, 코, 바퀴와 같은 좀 더 복잡한 형태의 중수준 특징(mid-level features)을 인식하고, 최종적으로는 고양이, 자동차와 같은 객체 전체를 인지하는 고수준 특징(high-level features)을 학습하게 됩니다.3 이처럼 저수준에서 고수준으로 이어지는 특징의 계층 구조에서, 특히 저수준 및 중수준 특징들은 특정 과업에 국한되지 않고 다양한 시각적 과업에 보편적으로 적용될 수 있는 일반성을 가집니다. 바로 이 점이 사전 훈련 모델이 강력한 전이 학습 도구로 사용될 수 있는 이유입니다.
특징 추출(Feature Extraction)은 사전 훈련된 모델을 일종의 ‘블랙박스’ 특징 생성기로 취급하는 전략입니다. 이 접근법의 핵심 원리는 사전 훈련 과정에서 학습된 모델의 가중치가 매우 유용한 특징을 추출하는 능력을 이미 갖추고 있다고 보고, 이 가중치들을 새로운 과업을 위해 변경하지 않고 그대로 ‘동결(freeze)’시키는 것입니다.11
구체적인 메커니즘은 다음과 같습니다. 먼저, 사전 훈련된 모델(예: ResNet)에서 최종 분류기 역할을 하는 완전 연결 계층(fully connected layer, 또는 ‘head’)을 제거합니다. 남은 부분, 즉 합성곱 계층들로 이루어진 ‘몸통(body)’ 부분의 모든 가중치는 훈련 중에 업데이트되지 않도록 고정됩니다. 새로운 타겟 데이터셋의 이미지를 이 동결된 몸통 부분에 입력으로 통과시키면, 모델은 이미지로부터 고차원의 특징 벡터(feature vector) 또는 임베딩(embedding)을 출력합니다. 이 추출된 특징 벡터가 바로 새로운 데이터에 대한 압축적이고 유의미한 표현이 됩니다. 마지막으로, 이 특징 벡터들을 입력으로 받아 최종 예측을 수행하는 새로운 소규모 분류기(예: 간단한 완전 연결 계층)를 추가하고, 오직 이 새로운 분류기 부분만을 타겟 데이터셋으로 훈련시킵니다.12
이 전략의 가장 큰 장점은 계산 효율성입니다. 전체 네트워크의 극히 일부 파라미터만 훈련시키기 때문에 훈련 시간이 매우 빠르고, 적은 양의 GPU 메모리만으로도 충분합니다. 또한, 훈련 파라미터 수가 적어 타겟 데이터셋의 크기가 매우 작을 때 과적합(overfitting)의 위험을 크게 줄일 수 있습니다.31 반면, 단점은 사전 훈련된 특징 추출기가 타겟 도메인의 고유한 특성을 반영하도록 조정되지 않기 때문에, 소스 도메인과 타겟 도메인 간의 차이가 클 경우 모델의 성능이 제한될 수 있다는 점입니다.
미세 조정(Fine-tuning)은 특징 추출보다 더 적극적으로 사전 훈련된 모델의 지식을 활용하는 전략입니다. 이 접근법의 핵심 원리는 사전 훈련된 가중치를 단순히 고정된 값으로 사용하는 것이 아니라, 새로운 과업에 더 적합하도록 ‘미세하게’ 조정하는 것입니다.1
메커니즘은 사전 훈련된 모델의 가중치로 새로운 모델을 초기화한 후, 타겟 데이터셋을 사용하여 전체 모델 또는 일부 레이어에 대해 역전파(backpropagation)를 계속 진행하는 방식입니다. 이때, 사전 훈련을 통해 얻은 유용한 지식이 급격하게 손상되는 ‘파국적 망각(catastrophic forgetting)’을 방지하기 위해 일반적으로 매우 낮은 학습률(learning rate)을 사용하는 것이 중요합니다.1 미세 조정의 범위는 다양하게 조절할 수 있습니다. 예를 들어, 모델의 초기 레이어들(저수준 특징 학습)은 동결시킨 채, 더 과업 특화적인 후반부 레이어들만 미세 조정하거나, 혹은 모델 전체의 모든 레이어를 미세 조정할 수도 있습니다.
미세 조정의 가장 큰 장점은 모델이 타겟 도메인의 특성에 맞게 특징 표현 자체를 적응시킬 수 있어, 특징 추출 방식보다 더 높은 성능을 달성할 잠재력이 크다는 것입니다.31 하지만 이는 더 많은 훈련 파라미터를 업데이트해야 하므로 더 많은 계산 자원과 시간이 소요되며, 특히 타겟 데이터셋의 크기가 충분히 크지 않을 경우 과적합에 빠질 위험이 더 높다는 단점을 가집니다.1
특징 추출과 미세 조정 사이의 선택은 이분법적인 결정이 아니라, ‘어느 정도의 레이어를 동결 해제할 것인가’에 대한 스펙트럼 상의 결정에 가깝습니다. 이 결정은 주로 두 가지 핵심 요소, 즉 타겟 데이터셋의 크기와 소스 데이터셋(예: ImageNet)과의 유사성에 따라 이루어집니다.15 이 두 요소를 축으로 하는 의사결정 프레임워크는 다음과 같이 정리할 수 있습니다.
이처럼 특징 추출과 미세 조정의 선택, 그리고 미세 조정의 범위를 결정하는 것은 안정성(사전 학습된 지식 보존)과 가소성(새로운 지식 학습) 사이의 균형을 맞추는 과정입니다. 이는 전이 학습을 성공적으로 적용하기 위한 가장 중요한 실용적 기술 중 하나라 할 수 있습니다.
표 3: 특징 추출 vs. 미세 조정: 의사결정 프레임워크
| 타겟 데이터셋이 소스 데이터셋과 유사함 | 타겟 데이터셋이 소스 데이터셋과 다름 | |
|---|---|---|
| 타겟 데이터셋 크기가 작음 | 전략: 특징 추출 (Feature Extraction) - 근거: 사전 학습된 특징이 충분히 유용하며, 미세 조정 시 과적합 위험이 높음. - 고려사항: 계산 비용이 가장 낮고, 구현이 간단함. | 전략: 신중한 미세 조정 (Cautious Fine-tuning) - 근거: 특징 적응이 필요하지만 데이터가 부족. 초기 레이어는 동결하고, 최상위 레이어만 매우 낮은 학습률로 조정. - 고려사항: 과적합 방지를 위해 강력한 정규화 및 데이터 증강이 필수적. |
| 타겟 데이터셋 크기가 큼 | 전략: 미세 조정 (Fine-tuning) - 근거: 데이터가 충분하여 과적합 우려가 적음. 모델을 미세하게 조정하여 성능을 극대화할 수 있음. - 고려사항: 상위 레이어부터 점진적으로 동결을 해제하며 최적의 성능을 찾음. | 전략: 전체 모델 미세 조정 (Full Fine-tuning) - 근거: 데이터가 충분하여 모델 전체를 새로운 도메인에 맞게 재학습 가능. 사전 훈련 가중치는 훌륭한 초기값 역할을 함. - 고려사항: 계산 비용이 가장 높지만, 최고의 성능을 기대할 수 있음. |
전이 학습은 이론적 프레임워크를 넘어 컴퓨터 비전, 자연어 처리, 음성 인식 등 인공지능의 핵심 분야들을 근본적으로 변화시키는 실용적인 기술로 자리매김했습니다. 각 분야의 데이터가 가진 고유한 구조적 특성은 전이 학습이 적용되는 방식의 차이를 만들어냈으며, 이는 전이 학습의 유연성과 강력함을 동시에 보여줍니다.
컴퓨터 비전(Computer Vision)은 전이 학습의 효과가 가장 극적으로 나타난 분야입니다. ImageNet과 같은 대규모 데이터셋으로 사전 훈련된 VGG, ResNet, Inception 등의 합성곱 신경망(CNN) 모델들은 시각 세계에 대한 보편적인 지식, 즉 계층적이고 공간적인 특징(픽셀 –» 엣지 –» 질감 –» 부분 –» 객체)을 학습했습니다.12 이 지식을 재사용함으로써, 연구자들과 개발자들은 모든 과업에 대해 수백만 장의 이미지를 수집하고 레이블링해야 하는 부담에서 벗어날 수 있게 되었습니다.12
자연어 처리(Natural Language Processing, NLP) 분야에서 전이 학습은 BERT, GPT, T5와 같은 사전 훈련 언어 모델(Pre-trained Language Models, PLM)의 등장과 함께 패러다임의 전환을 가져왔습니다. 이는 컴퓨터 비전에서 ImageNet의 역할에 비견될 만한 충격이었습니다.26 이 모델들은 인터넷 규모의 방대한 텍스트 데이터를 기반으로 단어와 문장의 문맥적, 순차적 의미를 깊이 있게 학습합니다. 전이되는 지식은 시각적 패턴이 아닌, 언어의 문법, 의미, 논리 등 추상적인 언어적 이해 그 자체입니다.
음성 인식(Speech Recognition) 분야의 모델은 화자, 억양, 언어, 배경 소음, 마이크 종류 등 극심한 가변성에 강건해야 합니다.41 전이 학습은 이러한 가변성에 대응하여 모델을 효과적으로 적응시키는 핵심 전략으로 사용됩니다. 여기서 이전되는 지식은 음성 신호의 근본적인 패턴과 음성학적 구조에 대한 이해입니다.
전이 학습은 의심할 여지 없이 인공지능 분야에 혁신을 가져왔지만, 그 과정에서 해결해야 할 복잡하고 심층적인 도전 과제들이 드러났습니다. 이러한 과제들은 단순히 기술적 한계를 넘어 윤리적, 철학적 질문까지 포함하며, 전이 학습의 미래 연구 방향을 결정짓는 중요한 이정표가 되고 있습니다. 특히 ‘부정적 전이’, ‘파국적 망각’, ‘해석 가능성’, ‘편향 전이’라는 네 가지 문제는 서로 밀접하게 얽혀 있어, 하나를 해결하려는 시도가 다른 문제를 야기할 수 있는 복잡한 상충 관계를 형성합니다.
정의 및 원인: 부정적 전이(Negative Transfer)는 소스 도메인에서 가져온 지식이 타겟 도메인의 학습을 돕기는커녕 오히려 방해하여, 처음부터 학습하는 것보다 성능이 저하되는 현상을 의미합니다.5 이는 전이 학습의 근본적인 가정을 위배하는 심각한 문제입니다. 주요 원인은
도메인 불일치(Domain Mismatch), 즉 소스 도메인과 타겟 도메인이 너무 관련이 없거나 이질적일 때 발생합니다. 예를 들어, 동물 이미지로 학습된 지식을 자동차 이미지 분류에 맹목적으로 적용하면, 동물과 관련된 특징(털, 눈, 다리)이 자동차 분류에는 무의미하거나 오해를 유발하는 노이즈로 작용할 수 있습니다.46 데이터의 분포, 특징 공간, 심지어 데이터 양식(modality)의 근본적인 차이(modality shift)가 부정적 전이를 유발하는 핵심 요인입니다.45
완화 전략: 이 문제를 해결하기 위한 연구는 ‘무조건적인 전이’에서 ‘지능적인 전이’로 패러다임을 전환하고 있습니다.
문제 정의: 파국적 망각(Catastrophic Forgetting)은 사전 훈련된 모델을 새로운 과업(Task B)에 미세 조정할 때, 기존에 학습했던 원본 과업(Task A)에 대한 지식과 성능을 급격히 잃어버리는 현상을 말합니다.49 이는 신경망의 가중치가 새로운 과업에 최적화되면서 기존 과업에 중요했던 가중치 값을 덮어쓰기 때문에 발생합니다. 이 현상은 새로운 지식을 학습하는 능력인 가소성(plasticity)과 기존 지식을 보존하는 능력인
안정성(stability) 사이의 근본적인 딜레마를 드러냅니다.50 일반적인 미세 조정은 가소성을 극대화하는 대신 안정성을 희생시키는 방식입니다.
지속 학습 (Continual Learning): 이 딜레마를 해결하고, 단일 모델이 여러 과업을 순차적으로 잊지 않고 학습할 수 있도록 하는 것을 목표로 하는 연구 분야가 바로 지속 학습 또는 평생 학습(Lifelong Learning)입니다. 이는 진정한 의미에서 인간과 유사한 학습 능력을 구현하기 위한 핵심적인 연구 방향입니다.50
해결 접근법:
이 네 가지 도전 과제는 독립적이지 않고 서로 복잡하게 얽혀 있습니다. 예를 들어, 파국적 망각을 막기 위해 가중치를 고정하면 새로운 도메인에 대한 적응력이 떨어져 부정적 전이의 위험이 커질 수 있습니다. 또한, 거대 모델의 편향을 수정하기 위한 추가적인 미세 조정은 또 다른 파국적 망각을 유발할 수 있습니다. 이 모든 복잡한 상호작용은 모델의 최종 행동을 예측하기 어렵게 만들어 해석 가능성의 문제를 더욱 심화시킵니다. 따라서 미래의 전이 학습 연구는 성능, 안정성, 적응성, 공정성, 투명성이라는 다중 목표를 동시에 최적화하는 통합적인 프레임워크를 지향해야 할 것입니다.
전이 학습은 ‘지식 재사용’이라는 더 큰 개념의 일부이며, 이로 인해 다중 과업 학습(Multi-task Learning), 메타 학습(Meta-learning)과 같은 다른 학습 패러다임과 종종 혼동되거나 용어가 혼용되기도 합니다.7 그러나 이들은 목표, 방법론, 그리고 적용 시나리오에서 명확한 차이를 가집니다. 이들의 관계를 명확히 구분하는 것은 특정 문제에 가장 적합한 접근법을 선택하고, 더 나아가 이들을 융합하는 새로운 연구 방향을 모색하는 데 필수적입니다. 이들의 핵심적인 차이는 ‘과업(task)을 언제, 어떻게 다루는가’에 대한 관점에서 가장 잘 이해할 수 있습니다.
전이 학습, 다중 과업 학습, 메타 학습은 서로 배타적인 개념이 아니라, 상호 보완적으로 결합하여 더 강력한 학습 시스템을 구축하는 데 사용될 수 있습니다. 이들의 융합은 인간과 같이 지속적으로, 그리고 효율적으로 학습하는 인공지능을 향한 중요한 연구 방향을 제시합니다.
결론적으로, 이 세 패러다임은 ‘과업’을 다루는 시점과 목표에 따라 명확히 구분됩니다. 모든 과업이 훈련 시점에 주어지고 동등하게 중요하다면 다중 과업 학습입니다. 특정 타겟 과업이 정해져 있고 소스 과업을 이를 위한 발판으로 사용한다면 전이 학습입니다. 미래에 닥칠 미지의 과업들에 대비하여 빠른 적응 능력을 기르는 것이 목표라면 메타 학습입니다. 이러한 명확한 구분을 통해 연구자와 개발자는 당면한 문제의 본질을 정확히 파악하고 가장 적절한 도구를 선택할 수 있습니다.
표 4: 전이 학습, 다중 과업 학습, 메타 학습의 비교
| 구분 | 전이 학습 (Transfer Learning) | 다중 과업 학습 (Multi-task Learning) | 메타 학습 (Meta-learning) |
|---|---|---|---|
| 주요 목표 | 특정 타겟 과업의 성능 향상 72 | 관련된 모든 과업의 성능 동시 향상 73 | 미래의 새로운 과업에 대한 빠른 적응 능력 획득 70 |
| 학습 과정 | 순차적 (소스 과업 학습 –» 타겟 과업 적응) 73 | 병렬적 (모든 과업을 동시에 학습) 73 | 에피소드 방식 (과업의 분포로부터 학습 전략을 학습) 70 |
| 전이 대상 | 지식 (모델 가중치, 특징 표현) 68 | 공유 표현 (과업 간 공통된 특징) 7 | 학습 알고리즘/전략 (좋은 초기값, 최적화 방법) 68 |
| 결과물 | 타겟 과업에 특화된 모델 | 모든 과업을 수행할 수 있는 단일 범용 모델 | 새로운 과업을 빠르게 학습할 수 있는 적응 가능한 모델 |
| 대표적 시나리오 | 사전 훈련 모델 미세 조정 (Fine-tuning) 73 | 여러 예측을 동시에 수행하는 모델 (예: 자율주행차의 객체 탐지 + 차선 인식) | 소수샷 학습 (Few-shot Learning) 69 |
| 관계 | 다중 과업 학습은 더 일반화된 소스 모델을 만드는 데 사용될 수 있음. 메타 학습은 더 나은 전이 학습 초기값을 찾는 데 사용될 수 있음. | 전이 학습의 한 형태로 볼 수 있으며(공유 파라미터를 통한 지식 이전), 모든 과업이 타겟인 특수한 경우. | 전이 학습과 목표가 다름 (지식 전이 vs. 학습 능력 전이). 그러나 두 개념을 결합한 메타-전이 학습 연구가 활발함. |
본 보고서는 전이 학습을 다각적이고 심층적으로 고찰하며, 그 이론적 기반부터 실제적 응용, 그리고 미래의 도전 과제까지 포괄적으로 분석하였다. 분석을 통해 도출된 핵심적인 통찰은 다음과 같다.
첫째, 전이 학습은 단순한 기술적 기법을 넘어, 딥러닝 시대의 경제적, 실용적 필연성에 의해 주류 패러다임으로 부상했다. 대규모 데이터와 막대한 연산 자원을 요구하는 딥러닝의 본질적인 한계에 대한 가장 효과적인 해결책으로서, AI 기술의 민주화와 확산을 이끌었다.
둘째, 전이 학습의 발전은 ‘학습하는 법을 배우기’라는 추상적 개념에서 출발하여, 엄밀한 형식적 정의와 체계적인 분류 체계의 확립을 통해 성숙한 학문 분야로 자리 잡았다. 도메인과 과업에 대한 수학적 정의는 문제를 정밀하게 분석하고, 귀납적/변환적/비지도 학습, 동종/이종 학습 등 다양한 시나리오에 맞는 최적의 전략을 선택할 수 있는 이론적 기틀을 마련했다.
셋째, 현대 딥러닝에서 전이 학습은 사전 훈련 모델을 중심으로 구현되며, ‘특징 추출’과 ‘미세 조정’이라는 두 가지 핵심 전략은 안정성과 가소성 사이의 상충 관계를 조율하는 실용적인 방법론이다. 타겟 데이터의 양과 소스 도메인과의 유사도에 기반한 전략적 선택은 전이 학습의 성공을 좌우하는 중요한 요소이다.
넷째, 전이 학습은 컴퓨터 비전, 자연어 처리, 음성 인식 등 AI의 핵심 분야 전반에 걸쳐 혁신을 주도했으나, 그 성공의 이면에는 심각한 도전 과제들이 존재한다. 부정적 전이, 파국적 망각, 해석 가능성 부족, 그리고 편향 전이라는 문제들은 서로 복잡하게 얽혀 있으며, 이는 전이 학습의 신뢰성과 안전성을 확보하기 위해 반드시 해결해야 할 미래 연구의 핵심 주제들이다.
마지막으로, 전이 학습은 다중 과업 학습, 메타 학습과 같은 인접 패러다임과 명확히 구분되면서도, 이들과 상호 보완적으로 융합하며 더욱 지능적인 학습 시스템으로 발전하고 있다. 이는 단편적인 지식 이전을 넘어, 지속적이고 효율적인 학습 능력을 갖춘 범용 인공지능을 향한 중요한 발걸음이다.
전이 학습은 이미 많은 것을 성취했지만, 여전히 해결해야 할 과제와 탐구해야 할 미지의 영역이 많이 남아있다. 미래 연구는 다음과 같은 방향으로 전개될 것으로 전망된다.
결론적으로, 전이 학습은 인공지능이 제한된 데이터와 자원의 한계를 넘어 더 넓은 세상의 문제들을 해결하기 위한 필수적인 도구로 진화하고 있다. 앞으로의 연구는 기술적 성능 향상을 넘어, 인간 사회에 신뢰와 책임을 다할 수 있는 지능을 구축하는 방향으로 나아가야 할 것이다.
| Transfer Learning. What is Transfer Learning? | by Mathavan S G - Medium, accessed July 19, 2025, https://medium.com/@aimathavan14/transfer-learning-74cec7927b9f |
| 전이 학습(Transfer learning)이란? 정의, 사용 방법, AI 구축 | appen 에펜, accessed July 19, 2025, https://kr.appen.com/blog/transfer-learning/ |
| 전이 학습 | 백과사전 | HyperAI超神经, accessed July 19, 2025, https://hyper.ai/kr/wiki/2872 |
| Domain Adaptation(도메인 적응) 이란? | Transfer Learning(전이 학습) 이란? - 콘이조아, accessed July 19, 2025, https://con2joa.tistory.com/entry/Domain-adaptation-%EC%9D%B4%EB%9E%80-%EB%8F%84%EB%A9%94%EC%9D%B8-%EC%A0%81%EC%9D%91-%EB%9C%BB |
| Transfer Learning in Natural Language Processing (NLP): A Game-Changer for AI Models | by Hassaan Idrees | Medium, accessed July 19, 2025, https://medium.com/@hassaanidrees7/transfer-learning-in-natural-language-processing-nlp-a-game-changer-for-ai-models-b8739274bb02 |
| 전이 학습 및 미세 조정 | TensorFlow Core, accessed July 19, 2025, https://www.tensorflow.org/guide/keras/transfer_learning?hl=ko |
| BERT and Transfer Learning in NLP | by Merve Bayram Durna - Medium, accessed July 19, 2025, https://medium.com/@mervebdurna/bert-and-transfer-learning-in-nlp-11fc19435fa0 |
| Advancing Speech Recognition with Transfer Learning Techniques | by Jesús Cantú, accessed July 19, 2025, https://medium.com/@jesus.cantu217/advancing-speech-recognition-with-transfer-learning-techniques-949bc65f655 |
| A Survey on Negative Transfer | Request PDF - ResearchGate, accessed July 19, 2025, https://www.researchgate.net/publication/365103591_A_survey_on_negative_transfer |
| Overcoming catastrophic forgetting in neural networks | PNAS, accessed July 19, 2025, https://www.pnas.org/doi/10.1073/pnas.1611835114 |
| Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models | OpenReview, accessed July 19, 2025, https://openreview.net/forum?id=HyN9POiYhN |
| Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models | Request PDF - ResearchGate, accessed July 19, 2025, https://www.researchgate.net/publication/386454716_Evaluating_Gender_Bias_Transfer_between_Pre-trained_and_Prompt-Adapted_Language_Models |
| Differences Between Transfer Learning and Meta-Learning | Baeldung on Computer Science, accessed July 19, 2025, https://www.baeldung.com/cs/transfer-learning-vs-meta-learning |