Transfer Learning
전이학습 (transfer learning)
특정 task 를 학습한 모델을 다른 task 수행에 재사용하는 기법
재사용하면서 knowledge transfer(지식전이) 가 일어남
transfer learning 적용 이전의 기존 모델보다 학습 속도가 빠름
BERT 와 GPT 모두 transfer learning 이 사용된 모델
Upstream task
- transfer learning 적용 이전의 기존 모델이 학습하는 task (pretrain)
- 대표적인 task
다음 단어 맞히기: language model (GPT)빈칸 채우기: masked language model (BERT)
self-supervised learning (자기지도학습)
- 데이터 내에서 정답을 만들고 이를 바탕으로 모델을 학습하는 방법
- upstream task 는 self-supervised learning(자기 지도 학습)
Downstream task
- upstream task 를 바탕으로 pretrain 된 모델을 사용하여 우리가 풀어야할 자연어 처리의 구체적인 과제
- classification (분류)
- 자연어를 입력받아 해당 입력이 어떤 범주에 해당하는지 확률 형태로 반환
Fine-tuning(파인 튜닝)
- pretrain 을 마친 모델을 downstream task 에 맞게 튜닝하는 기법
Downstream task 의 대표적인 예
문서 분류
- 자연어(문서나 문장)을 입력받아 해당 입력이 어떤 범주(긍정, 중립, 부정)에 속하는지 확률을 반환
자연어 추론
- 2개의 문장을 입력받고 두 문장 사이의 관계가
참 거짓, 중립에 속하는지 확률값을 반환
개체명 인식
- 자연어를 입력받아 단어별로 기관명, 인명, 지명 등 어떤 개체명 범주에 속하는지 확률값을 반환
질의응답
- 자연어(질문+지문)을 입력받아 각 단어가 정답의 시작일 확률값과 끝일 확률값을 반환
문자생성
- 자연어를 입력받아 어휘 전체에 대한 확률값 반환
- 입력된 문장 다음에 올 단어 예측
- GPT 계열 언어 모델 사용