1. Introduction Sequence-to-sequence Model은 Machine Translation , Text Summarization , Image Captioning에서 두각을 나타내는 Deep Learning Model입니다. 2014년 Google에 의해서 소개되었습니다.(논문, https://arxiv.org/pdf/1409.3215.pdf) Sequence-to-sequence Model은 Sequence Data를 Input으로 받아서, Sequence Data로 Mapping해 주는 Model입니다. ( Many-To-Many) 흔히, Encoder-Decoder Model이라고도 하는데, Sequence Data를 Encoder에서 Input Sequence Data의 정..

LSTM은 RNN의 특별한 한 종류로써, 긴 의존기간이 필요한 학습을 할 수 있는 능력이 있습니다. LSTM의 목적은 명확하게 Long-Term Dependency를 제거하고자 Design되었습니다. 이 Post는 아래 Link의 글을 참고하였습니다. Understanding LSTM Networks LONG SHORT-TERM MEMORY 0. LSTM의 기본 구조 위의 구조는 tanh를 Activation Function으로 가지는 RNN의 기본적인 구조입니다. 아래의 그림은 LSTM의 기본 Cell 구조를 나타내고 있습니다. LSTM도 기본적으로 RNN과 유사한 구조를 가지지만, 몇 개의 Layer가 추가되었습니다. 본격적으로 하나씩 살펴보기 전에 기호들의 정의를 살펴보도록 하겠습니다. 1. Cel..

이번 Post에서는 RNN(Recurrent Neural Network)에 대해서 다루어 보도록 하겠습니다. 주된 내용은 Standford 강의자료(CS231n 강좌 )를 참고하였습니다. Sequence Data는 다음과 같은 특징을 가집니다. 음악 , 영상 , 문장 , 날씨 , 주가 등은 각각의 Data가 개별적이 아닌, 연속적인 Data(Sequence Data)라는 점입니다. 앞쪽의 Data가 뒤쪽의 Data에 영향을 준다는 의미입니다. RNN 이외의 다른 ML / DL 기법이 이런 Sequence Data를 다루려면, Sequence가 가지는 전체적인 흐름을 하나의 Data 형태로 표현해야만 합니다. 그래서, ML(Machine Learning) / NN(Neural Net) / CNN(Convo..

CNN(Convolutional Neural Network)은 주로 Image에 사용되는 Deep Learning Architecture입니다. Image Classification, Object Detection / Segmentation등에서 매우 성능이 우수하다고 알려져 있으며, CNN은 그 이름에서 알 수 있듯이 주요한 컴포넌트 중 하나로 합성곱 계층(convolutional layer)을 포함하고 있습니다. 이번 Post에서는 CNN의 등장 배경 및 최신 Trend까지 다뤄보도록 하겠습니다. 순서 1. CNN Introduction 2. Terminology 3. Basic Codes & Exercise 4 Pre-Trained Models 1. CNN Introduction 1.1. 시각적 인..