TIL_모각코

Transfer learning

Transfer Learning 전이학습 (transfer learning) 특정 task 를 학습한 모델을 다른 task 수행에 재사용하는 기법 재사용하면서 knowledge transfer(지식전이) 가 일어남 transfer learning 적용 이전의 기존 모델보다 학습 속도가 빠름 BERT 와 GPT 모두 transfer learning 이 사용된 모델 Upstream task transfer learning 적용 이전의 기존 모델이 학습하는 task (pretrain) 대표적인 task 다음 단어 맞히기 : language model (GPT) 빈칸 채우기 : masked language model (BERT) self-supervised learning (자기지도학습) 데이터 내에서 정답을 ..

GRU

Translation 이란 input 문장의 길이와 output 문장의 길이가 **가변적임** **문법**에 따라 input, output 문장의 순서가 **가변적임** input 문장 한개에 output 문장이 두개 이상 나올 수 있음 GRU(Gated Recurrent Unit) Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation 논문에서 소개 Sequence-to-Sequence LSTM 을 응용하여 더 간단한 구조를 가져 속도가 빠름&성능은 LSTM 과 유사 forget gate 와 input gate 를 하나의 **update gate** 로 합침 cell state 와 hidde..

N-gram

N-gram **Count-based representation**(횟수 기반의 벡터 표현방식을 사용한 언어 모델) sequence 를 N 개의 단어로 구성하여 토큰화 한개의 단어를 count 하여, 단어의 순서를 무시하게 되어 문맥이 무시되는 BoW(Bag of Word) 의 단점 보완 ex) N = 2 I love you : [I love] [love you] 한계점 Long-term dependency(장기 의존성) 일부 단어의 sequence와 count 만을 가지고 판단하기 때문에 앞쪽 토큰은 무시 될 수 있음 해결방안으로 N = 1~5 까지 여러 N-gram 을 다양하게 혼합하여 사용하지만 역시 완전하게 해소되지 못함 N 을 너무 크게 하면, BoW 의 Sparsity (희소성) 의 문제가 부..

BoW

Bag of words(BoW) 입력받은 단어들을 frequency(출현빈도) 에 맞게 숫자로 나타내는 기법 ex) love, sexy, like, girl, man 이 입력 단어로 들어왔을 경우 아래와 같이 BoW 로 표현 가능하다. input) love sexy love love sexy like girl man 2 1 0 0 0 input) sexy girl like man | love | sexy | like | girl | man | | ---- | ---- | ---- | ---- | ---- | | 0 | 1 | 1 | 1 | 1 | 장점 문장과 문장 사이의 유사도를 분석하기에 용이하다. 머신러닝 모델의 입력값으로 사용하기에 용이하다(숫자 input) 단점 Sparsity(희박) 단어 리스트..