안녕하세요, MoonLight입니다.이번 Post에서는 Transformer의 전체 구조를 개괄적으로 알아보도록 하겠습니다. Transformer의 전체 구조의 위와 같습니다. 왼쪽이 Encoder의 구조이고, 오른쪽이 Decoder입니다.0. Encoder먼저 Encoder의 구조에 대해서 간략하게 살펴보겠습니다.0.0. Tokenizer가장 아래쪽에 Inputs이 있습니다. Transformer에서 Input은 단어들로 이루어진 문장이 되겠죠.이 그림에서는 생략되어 있는데, Input Embedding Layer에 문장 전체가 들어갈 수는 없기 때문에 그전에 tokenizer를 이용하여, 문장들을 Token 단위로 나눕니다.Transformer에서는 주로 WordPiece ..