한빛미디어 '나는 리뷰어다' 활동을 위해서 책을 제공받아 작성된 서평입니다. 0. 소개 만약 여러분이 직접 만든 추천 시스템 Machine Learning Model을 여러 사람들에게 서비스하고 싶다면 ? 여러분들은 다양한 Dataset으로 훌륭한 Data Preprocessing을 할 수 있고, 훌륭한 직감을 가지고 있으며 훌륭하게 여러분의 Model을 Tuning 할 수 습니다. 수 없이 많은 .fit()을 호출하면서 Accuracy / ROC-AUC 등의 지표를 보면서 더욱 나은 성능이 나올 수 있도록 Model을 만들 수 있는 능력이 있습니다. 하지만, 여러분들이 훌륭하게 동작하는 Model을 만들 수 있는 능력이 있다고 하더라도, 그 Model을 이용하여 실제 서비스를 구축하는 것은 완전히 다른..

한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다. Deep Learning이 대중들에게 이름을 알리기 시작한 것은 무엇보다도 Image Data를 처리하는 데에 있어서 인간에 버금가는 능력을 보여주면서부터라고 생각합니다. 그 이후로 Deep Learning / AI가 우리가 알게 모르게 일상생활에 깊숙이 파고들고 있는 것이 사실입니다. 하지만, Python을 익히고 Deep Learning에 자주 사용되는 Package들의 사용법을 익힌 후에 실제로 간단한 Image Classification 작업을 해보는 것은 생각만큼 쉽지 않습니다. 다양한 예제들이 많지만 대부분 수학적인 원리나 해당 Code가 어떤 일을 하는지 그리고 왜 필요한지에 대해서는 자세히 설명되어 있지 않거나 알 수 없는 수학 기..

0. Transfer Learning 다른 Dataset으로 이미 학습된(Pre-Trained) Model을 가져와서 내가 하고자 하는 작업에 적용하는 것을 말합니다. 1. Fine Tuning Pre-Trained Model은 다른 Dataset에서 학습된 Weight & Bias를 가지고 있기 때문에 새롭게 적용하려는 작업에 잘 맞지 않을 수가 있다. Pre-Trained Model을 새로운 작업에 맞게 Weight & Classifier를 새롭게 조정하는 작업을 Fine Tuning이라고 한다. Pre-Trained Model 전체를 다시 Tuning할 지 혹은 일부만 Tuning할 지는 여러가지 상황을 고려하여 선택한다. 3. Dataset의 특성과 양에 따른 Fine-Tuning 전략 3.1. ..

0. About Tensorflow Certificate Tensorflow Certiciate는 Google에서 운영하는 Tensorflow Developer 인증 시험입니다. 저는 Tensorflow를 주로 사용하고 있는데 이왕 사용하는 김에 자격증은 없나 찾아보다 알게되었고 이번에 취득하게 되었습니다. Tensorflow Certiciate는 AI Framework중의 하나인 Tensorflow를 활용하여 다양한 Model을 구축하는 능력을 확인하는 시험입니다. 간단하게 Tensorflow Certificate에 대해서 알아보면, 시험 주최는 Google이며 개인적으로 응시합니다. 시험은 Online환경에서 PyCharm의 Plug-In을 이용해서 치뤄집니다. ( VS Code는 안됩니다. Only..

Input Shape : 반드시 3D Array 이어야 한다. ( Batch Size , Time Stamp , Feature Number ) LSTM의 출력 ( Memory Cell 수 ) : N 0. return_sequences / return_state / stateful Default는 두 Option 모두 False 0.1. return_sequences False이면 마지막 출력 h4만 출력 Example Time Stamp : 3 Featuer Number : 1 Batch Size : 2 LSTM 출력 : 4 from tensorflow.keras.models import Model from tensorflow.keras.layers import Input from tensorflow.k..

이번 Post에서는 BERT Model을 이용하여, Text 분류 작업을 해보도록 하겠습니다. 영화 감상평이 긍정적인지 부정적인지 분류해 놓은 Data Set을 이용할 예정입니다. 실제로 사용할 Data Set은 Large Movie Review Dataset 입니다. 0. About BERT BERT 및 기타 Transformer Encoder Architecture는 Natural Language Process의 다양한 분야에서 좋은 성능을 보여주고 있습니다. BERT or Transformer Encoder는 Natural Language Process의 다양한 분야에 사용할 수 있는 Vector Space를 계산해 줍니다. BERT(Bidirectional Encoder Representation..

DCGAN Example 이번 Post에서는 DCGAN Code를 보면서 예제를 다뤄보도록 하겠습니다. GAN & DCGAN에 대한 구체적인 정보는 아래 Link에 좋은 자료가 있으니 한 번 보시기 바랍니다.DCGAN GAN 이 Example은 Tensorflow Tutorial Site에서 가져왔습니다. https://www.tensorflow.org/tutorials/generative/dcgan 우리는 이 Example에서 MNIST Dataset의 확률 분포를 학습한 후에, 학습이 끝난 Model이 MNIST Data와 유사한 Data를 Generation 하는 것을 볼 수 있을 것입니다. 0. Import Package 필요한 Package를 Load합니다. imageio는 결과를 GIF For..

0. Introduction 0.1. Gradient Vanishing / Exploding Neural Network의 Train시에 Gradient 값의 변화를 보고 Parameter를 조절합니다. Gradient는 변화량, 즉 미분값입니다. Neural Network의 깊이가 깊어질수록 Backpropagation시에 Gradient 값들이 Input Layer의 입력값의 변화를 적절하게 학습에 반영하지 못합니다. Backpropagation시에, Non-Linear Activation Function(Ex. Sigmoid / Tanh )들을 사용하면 Layer를 지날수록 Gradient 값들이 점점 작아지거나(Gradient Vanishing) 혹은 반대로 Gradient 값들이 점점 커져서(Gr..

0. Introduction Goodfellow, Ian이 2014년에 GAN을 소개한 이후에 아래 그림과 같이, 매우 다양한 GAN 응용이 나왔습니다. ( GAN의 다양한 종류. 출처 : https://ysbsb.github.io/gan/2020/06/17/GAN-newbie-guide.html ) 이번 Post에서는 그 중에서도 모든 GAN응용의 시작이라고 할 수 있는 DCGAN(Deep Convolutional Generative Adversarial Networks)을 살펴보도록 하겠습니다. DCGAN은 2016년에 Alec Radford & Luke Metz , Soumith Chintala에 의해서 발표됩니다. Paper 정식 제목은 'UNSUPERVISED REPRESENTATION LEAR..

0. Introduction 2014년에 Ian J. Goodfellow가 GAN(Generative Adversarial Nets)이라는 새로운 방식의 Model을 발표하였습니다. 논문은 아래 Link에서 확인할 수 있습니다. Generative Adversarial Nets 'Nets'은 흔히 알고 있는 Network인 것은 알겠지만, Adversarial이나 Generative의 정확한 의미는 조금 어렵습니다. 이번 Post에서는 GAN이 무엇인지 알아보도록 하겠습니다. 1. Background 1.1. Generative Model GAN은 실제로 존재하지 않지만, 그럴싸한(있을법한) Data를 생성할 수 있는 Model의 종류를 말합니다. 아래 Image는 Ian Goodfellow의 Papae..