한빛미디어 '나는 리뷰어다' 활동을 위해서 책을 제공받아 작성된 서평입니다. 0. 소개 이제는 전공자가 아니어도 뉴스나 방송을 통해 Machine Learning / Deep Learning이라는 말을 너무 흔하게 들을 수 있는 상황이 되었다. 음성인식 , 추천 시스템 , 이미지 생성 등은 이미 우리의 일상에서 너무나 흔한 일이고, Tensorflw / PyTorch / Scikit-learn같은 우수하고 훌륭한 Framework은 너무나 쉽게 우리들을 AI의 세계로 발을 들여놓게 만들어 준다. 하지만, 이렇게 현실속에 깊게 들어와 있는 Machine Learning / Deep Learning이지만, 정작 내가 하는 일에 이 기술을 적용하려고 하면 관련 전공자라고 해도 절대 쉬운 일이 아니다. '우리 ..

0. Transfer Learning 다른 Dataset으로 이미 학습된(Pre-Trained) Model을 가져와서 내가 하고자 하는 작업에 적용하는 것을 말합니다. 1. Fine Tuning Pre-Trained Model은 다른 Dataset에서 학습된 Weight & Bias를 가지고 있기 때문에 새롭게 적용하려는 작업에 잘 맞지 않을 수가 있다. Pre-Trained Model을 새로운 작업에 맞게 Weight & Classifier를 새롭게 조정하는 작업을 Fine Tuning이라고 한다. Pre-Trained Model 전체를 다시 Tuning할 지 혹은 일부만 Tuning할 지는 여러가지 상황을 고려하여 선택한다. 3. Dataset의 특성과 양에 따른 Fine-Tuning 전략 3.1. ..

0. About Tensorflow Certificate Tensorflow Certiciate는 Google에서 운영하는 Tensorflow Developer 인증 시험입니다. 저는 Tensorflow를 주로 사용하고 있는데 이왕 사용하는 김에 자격증은 없나 찾아보다 알게되었고 이번에 취득하게 되었습니다. Tensorflow Certiciate는 AI Framework중의 하나인 Tensorflow를 활용하여 다양한 Model을 구축하는 능력을 확인하는 시험입니다. 간단하게 Tensorflow Certificate에 대해서 알아보면, 시험 주최는 Google이며 개인적으로 응시합니다. 시험은 Online환경에서 PyCharm의 Plug-In을 이용해서 치뤄집니다. ( VS Code는 안됩니다. Only..

Input Shape : 반드시 3D Array 이어야 한다. ( Batch Size , Time Stamp , Feature Number ) LSTM의 출력 ( Memory Cell 수 ) : N 0. return_sequences / return_state / stateful Default는 두 Option 모두 False 0.1. return_sequences False이면 마지막 출력 h4만 출력 Example Time Stamp : 3 Featuer Number : 1 Batch Size : 2 LSTM 출력 : 4 from tensorflow.keras.models import Model from tensorflow.keras.layers import Input from tensorflow.k..

이번 Post에서는 BERT Model을 이용하여, Text 분류 작업을 해보도록 하겠습니다. 영화 감상평이 긍정적인지 부정적인지 분류해 놓은 Data Set을 이용할 예정입니다. 실제로 사용할 Data Set은 Large Movie Review Dataset 입니다. 0. About BERT BERT 및 기타 Transformer Encoder Architecture는 Natural Language Process의 다양한 분야에서 좋은 성능을 보여주고 있습니다. BERT or Transformer Encoder는 Natural Language Process의 다양한 분야에 사용할 수 있는 Vector Space를 계산해 줍니다. BERT(Bidirectional Encoder Representation..

DCGAN Example 이번 Post에서는 DCGAN Code를 보면서 예제를 다뤄보도록 하겠습니다. GAN & DCGAN에 대한 구체적인 정보는 아래 Link에 좋은 자료가 있으니 한 번 보시기 바랍니다.DCGAN GAN 이 Example은 Tensorflow Tutorial Site에서 가져왔습니다. https://www.tensorflow.org/tutorials/generative/dcgan 우리는 이 Example에서 MNIST Dataset의 확률 분포를 학습한 후에, 학습이 끝난 Model이 MNIST Data와 유사한 Data를 Generation 하는 것을 볼 수 있을 것입니다. 0. Import Package 필요한 Package를 Load합니다. imageio는 결과를 GIF For..

이전 Post에서 TFRecord File Format을 만드는 방법에 대해서 알아보았습니다. 이번 Post에서는 지난 번에 작성한 TFRecord Dataset으로 Image Classification을 해보겠습니다. TFRecord는 Tensorflow와 함께 사용할 때 최고의 성능을 보여줍니다. 그래서, 가능하면 모든 Code들은 Tensorflow에서 제공하는 Function들을 사용해서 작성해 보도록 하겠습니다. 0. Prepare 필요한 Module을 Load합니다. import tensorflow as tf from tqdm import tqdm from sklearn.model_selection import train_test_split Batch Size와 Prefetch할 Size를 미..

TFRecord File Format은 Tensorflow의 자체적인 Binary File Format입니다. 대규모 Dataset으로 작업을 할 경우 Binary File로 작업을 한다면 Data Input Pipeline의 효율을 높일 수 있으며, 결과적으로 전체적인 Model의 Training 시간도 향상될 수 있습니다. Binary Data는 Storage에 공간도 덜 차지할 뿐 아니라, Read / Write시에도 더 효율적입니다. 더욱이, Storage가 Motor를 사용하는 장치라면 더욱 그렇습니다. 단순히 TFReocrd File Format이 Binary여서 성능 향상을 이룬다는 것이 아니라, TFRecord가 Tensorflow에 최적화 되어 있기 때문에 Tensorflow가 제공하는 ..

주어진 Data로 부터 Train에 필요한 Data형태로 변환하기까지는 매우 지루하고 험난한 과정입니다. Model에 입력 Foramt에 맞게 Shape을 변경하고, Data Augmentation도 고려해야 합니다. 가장 중요한 것은 주어진 Data가 수십, 수백만개가 있다면 Performance 또한 중요한 고려 요소가 됩니다. 이런 모든 고민을 해결해 주기 위해서 Tensorflow에서는 tf.data Module과 tf.data.Dataset Module을 준비놓았습니다. 이번 Post에서는 Tensorflow를 이용하여 효율적인 Data Input Pipeline을 만드는 방법을 알아보고자 합니다. tf.data.Dataset에서는 map / prefetch / cache / batch 이렇게 ..

Tensorflow 2.x을 Anaconda에서 설치하려고 하니 뭔가 잘 되지 않았습니다. Anaconda에서 Keras를 설치하면 Tensorflow 1.x와 GPU Support에 필요한 CUDA / cuDNN 등을 자동으로 설치해서 편리하게 사용했는데 많이 아쉽더군요. 아마 Package간 호환을 위한 Version Matching이 아직 잘 되지 않은 것 같습니다. 그래서, 이번에 Windows 10에서 Anaconda환경에서 Tensorflow 2.x & GPU Support 환경을 손수, Manual하게 꾸며볼까 합니다. 이번 Post 내용은 아래의 영상을 참고하여 작성되었습니다. Anaconda/window10 - Tensorflow 2.0 GPU 시원하게 설치해보자! (visual stud..