TIL_모각코

GRU

ID_DI 2022. 7. 27. 23:10

Translation 이란

  • input 문장의 길이와 output 문장의 길이가 **가변적임**
  • **문법**에 따라 input, output 문장의 순서가 **가변적임**
    • input 문장 한개에 output 문장이 두개 이상 나올 수 있음

GRU(Gated Recurrent Unit)

  • Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation 논문에서 소개
  • Sequence-to-Sequence
  • LSTM 을 응용하여 더 간단한 구조를 가져 속도가 빠름&성능은 LSTM 과 유사
    • forget gate 와 input gate 를 하나의 **update gate** 로 합침
    • cell state 와 hidden state 를 합쳐서 **하나의 hidden state** 로 합침

![image-20220715121308490](C:\Users\leedo\AppData\Roaming\Typora\typora-user-images\image-20220715121308490.png)

Reset Gate

  • sigmoid 함수를 거쳐 0~1 사이의 벡터 출력
  •  

장점

  • 기존의 LSTM 에 대해 GRU 가 더 간단한 구조를 가짐
  • 성능은 기존의 LSTM 과 유사하지만, 학습할 파라미터가 적다.