Attention Mechanism은 2015년 Neural machine translation by jointly learning to align and translate 이라는 논문에서 최초로 소개되었습니다. Attention이라는 단어는 직접적으로 등장하지는 않았지만, ‘Align’이라는 단어가 사용되었습니다. Machine Translation에서 큰 위력을 발휘하고 있는 Self-Attention, Transformer, BERT가 모두 Attention을 Base로 만들어진 개념들입니다. 이번에는 Attention Mechanism에 대해서 알아보도록 하겠습니다. 0. Seq2Seq Model vs Attention Mechanism 우선, 기존의 Seq2Seq Model과의 비교를 위해 간단..

CNN(Convolutional Neural Network)은 주로 Image에 사용되는 Deep Learning Architecture입니다. Image Classification, Object Detection / Segmentation등에서 매우 성능이 우수하다고 알려져 있으며, CNN은 그 이름에서 알 수 있듯이 주요한 컴포넌트 중 하나로 합성곱 계층(convolutional layer)을 포함하고 있습니다. 이번 Post에서는 CNN의 등장 배경 및 최신 Trend까지 다뤄보도록 하겠습니다. 순서 1. CNN Introduction 2. Terminology 3. Basic Codes & Exercise 4 Pre-Trained Models 1. CNN Introduction 1.1. 시각적 인..