0. Introduction​안녕하세요, 이번 Post에서는 Transformer의 Decoder에 대해서 자세히 알아보도록 하겠습니다.​Transformer Decoder의 각 부분을 구체적으로 하나씩 알아보도록 하겠습니다.​​​​Encoder에서 살펴본 구조도 몇몇 보이지만, Decoder는 이전의 Decoder 출력을 기반으로 현재 출력을 생성해 내는 자기 회귀적 특징으로 인해 조금씩 다른 부분이 있습니다.​Decoder에서 이런 자기 회귀적인 특징이 가장 많이 반영되어 있는 부분이 Masked Multi-Head Attention 부분이니 먼저 이 부분을 자세히 알아보도록 하겠습니다.​​​​1. Masked Multi-Head Attention​​ ​​​1.0. Shifted Right​Decod..

안녕하세요, 이번 Post에서는 Transformer의 Encoder에 대해서 자세히 알아보도록 하겠습니다.​Transformer Encoder의 각 부분을 구체적으로 하나씩 알아보도록 하겠습니다.​​0. Tokenizer & Input Embedding Layer​​​​Embedding Layer에 문장 그대로 입력할 수 없기 때문에 문장을 Model이 사용할 수 있는 Vector 형태로 변환해야 합니다.​Tokenizer를 이용해 문장을 Token 단위로 나누고, 나눈 Token을 Embedding Layer에 입력하여 Model이 이해할 수 있는 Vector 형태로 만듭니다.​Transformer는 WordPiece Tokenizer를 사용하여 Token을 나누며, Transformer의 Embed..

안녕하세요, MoonLight입니다.​이번 Post에서는 Transformer의 전체 구조를 개괄적으로 알아보도록 하겠습니다.​​​ ​​Transformer의 전체 구조의 위와 같습니다. 왼쪽이 Encoder의 구조이고, 오른쪽이 Decoder입니다.​​0. Encoder​먼저 Encoder의 구조에 대해서 간략하게 살펴보겠습니다.​​​0.0. Tokenizer​가장 아래쪽에 Inputs이 있습니다. Transformer에서 Input은 단어들로 이루어진 문장이 되겠죠.​이 그림에서는 생략되어 있는데, Input Embedding Layer에 문장 전체가 들어갈 수는 없기 때문에 그전에 tokenizer를 이용하여, 문장들을 Token 단위로 나눕니다.​Transformer에서는 주로 WordPiece ..

지난 여름에 고향에 다녀올 일이 있어서 내려갔다가 ​ 동생이 알려준 독특한 까페가 있어서 소개해 드릴려고 글을 씁니다. ​ 경북 경산에 위치한 까페 CW인데, 이곳은 각종 영화의 대형 피규어가 전시되어 있는 ​ 상당히 특이한 까페입니다. ​ 2층에는 일반적인 까페( 사실 까페 자체도 상당히 이쁘고, 세련된 내부 디자인이었습니다.)가 있고, ​ 3층 전체를 대형 피규어 전시실로 꾸며놓았습니다. ​ 스타워즈, 터미네이터, 트랜스포머, 마블 등등 다양한 캐릭터의 대형 피규어를 직관할 수 있다는 장점이 있습니다. ​ 이런 분야를 좋아하시는 분이라면 적극 추천드립니다. ​ 다만, 대구 근처라 서울에서는 접근성이 좋지는 않겠지만, 근처에 계시는 분은 한 번쯤 놀러가보시면 좋을 듯 합니다. ​ ​ ​ 위치는 아래 지..

한빛미디어 '나는 리뷰어다' 활동을 위해서 책을 제공받아 작성된 서평입니다. 0. 소개 Image 분야의 Deep Learning에 CNN 구조가 있다면, Text 분야의 Deep Learning에서의 대세는 역시 Transformer입니다. 2017년에 Google에 의해 'Attention Is All You Need' Paper가 발표되고 난 후, NLP 분야는 Transformer로 인해 그야말로 비약적인 발전을 이루게 됩니다. Paper 발표 이후, Text Classification , Summarization , Translation , QA, NLU , NER 등 모든 Text 관련 부분에서 SOTA를 이루어 냈고, 지금도 그 위력은 여전합니다. Transformer 구조 자체가 약간 어려..