Transfer Learning(Upstream, Downstream task) 이란

Transfer Learning

전이학습 (transfer learning)

• 특정 task 를 학습한 모델을 다른 task 수행에 재사용하는 기법
• 재사용하면서 knowledge transfer(지식전이) 가 일어남

• transfer learning 적용 이전의 기존 모델보다 학습 속도가 빠름
• BERT 와 GPT 모두 transfer learning 이 사용된 모델

Upstream task

• transfer learning 적용 이전의 기존 모델이 학습하는 task (pretrain)
• 대표적인 task
  • `다음 단어 맞히기` : language model (GPT)
  • `빈칸 채우기` : masked language model (BERT)

self-supervised learning (자기지도학습)

• 데이터 내에서 정답을 만들고 이를 바탕으로 모델을 학습하는 방법
• upstream task 는 self-supervised learning(자기 지도 학습)

Downstream task

• upstream task 를 바탕으로 pretrain 된 모델을 사용하여 **우리가 풀어야할 자연어 처리의 구체적인 과제**
• classification (분류)
  • 자연어를 입력받아 해당 입력이 어떤 범주에 해당하는지 확률 형태로 반환

Fine-tuning(파인 튜닝)

• pretrain 을 마친 모델을 downstream task 에 맞게 튜닝하는 기법

Downstream task 의 대표적인 예

문서 분류

• 자연어(문서나 문장)을 입력받아 해당 입력이 어떤 범주(긍정, 중립, 부정)에 속하는지 확률을 반환

자연어 추론

• 2개의 문장을 입력받고 두 문장 사이의 관계가 `참 거짓, 중립` 에 속하는지 확률값을 반환

개체명 인식

• 자연어를 입력받아 단어별로 기관명, 인명, 지명 등 어떤 개체명 범주에 속하는지 확률값을 반환

질의응답

• 자연어(질문+지문)을 입력받아 각 단어가 정답의 시작일 확률값과 끝일 확률값을 반환

문자생성

• 자연어를 입력받아 어휘 전체에 대한 확률값 반환
• 입력된 문장 다음에 올 단어 예측
• GPT 계열 언어 모델 사용