Deep-Learning/NLP

Transfer Learning(Upstream, Downstream task) 이란

Transfer Learning 전이학습 (transfer learning) 특정 task 를 학습한 모델을 다른 task 수행에 재사용하는 기법 재사용하면서 knowledge transfer(지식전이) 가 일어남 transfer learning 적용 이전의 기존 모델보다 학습 속도가 빠름 BERT 와 GPT 모두 transfer learning 이 사용된 모델 Upstream task transfer learning 적용 이전의 기존 모델이 학습하는 task (pretrain) 대표적인 task `다음 단어 맞히기` : language model (GPT) `빈칸 채우기` : masked language model (BERT) self-supervised learning (자기지도학습) 데이터 내에서 ..