안녕하세요, MoonLight입니다. ​ 오늘은 얼굴 인식 Model의 성능 측정에 많이 사용되는 LFW Dataset에 대해서 알아보도록 하겠습니다. ​ 최근에 얼굴 인식 관련 Model일을 하게 되면서 접하게 되었는데, 광범위하게 많이 사용되는 것 같아서 한 번 정리해 보려고 합니다. ​ ​ 0. 소개 2009년에 공개된 LFW Dataset은 Web상에서 총 5749명의 유명인에 대해서 취득된 13233장의 사진으로 구성되어 있습니다. 기존에 제약된 환경에서 촬영된 얼굴 사진 Dataset(FERET , MultiPIE)와 비교했을 때 상대적으로 일상생활에서 나타나는 조명이나 표정, 그리고 포즈변화 등 다양한 변화가 포함되어 있기 때문에 얼굴 인식 Model 성능 검증을 위해 널리 활용되고 있습니다..

안녕하세요, MoonLight입니다. ​ 이번 Post에서는 Python Code보면 가끔 보이는 "import __future__ ~~~" 이 문구가 무엇을 의미하는지 한 번 알아보도록 하겠습니다. ​ ​ 0. __future__의 의미가 뭐지? __future__ Module은 현재 Python Version에서는 지원하지 않지만, 상위 Version의 Python에서는 지원하는 기능을 사용할 수 있도록 해준다고 하네요. ​ 즉, 미래 Version에서는 이미 사용할 수 있지만, 현재 Python Version에서는 지원하지 않는 기능을 현재 Python Version에서 지원해 준다는 의미인데, ​ 제가 처음 이 설명을 봤을 때는 언뜻 와닿지는 않는 설명이었습니다. ​ 예를 들면, Python 2...

안녕하세요, MoonLight입니다. ​ 오늘은 널리 쓰이고 있는 Deep Learning Compiler 몇 가지를 살펴보도록 하겠습니다. ​ ​ 1. TVM ​ 1.0. Overview ​ TVM은 CPU , GPU 그 외의 다른 Deep Learning Accelerator들에 맞게 Model을 Compile하는 Framework입니다. 다양한 Hardware Backend에 맞게 Model을 최적화하고 효율적으로 계산하도록 만들어 줍니다. ​ ​ ​ 1.1. Conversion & Optimization ​ TVM이 Model을 최적화하고 Machine Code를 생성하는 방법을 소개하도록 하겠습니다. ​ 변환하고자 하는 Tensorflow / PyTorch / Onnx File을 입력 받습니다...

안녕하세요, MoonLight입니다. ​ 오늘은 Deep Learning Model을 다양한 환경에서 사용할 수 있도록 해주는 호환 Format인 ONNX에 대해서 알아보도록 하겠습니다. ​ 0. Introduction ONNX(Open Neural Network Exchange)는 Facebook과 Microsoft가 공동으로 개발한 Open Source Project입니다. 현재, 다양한 Deep Learning Framework가 존재하고 있으며, 각 Framework는 각기 다양한 형식으로 훈련된 Model File Format을 사용하며, 서로 호환되지 않습니니다. 내가 구현하려는 서비스에 적합한 Pre-Trained Model이 하필 내가 사용하지 않는 Framework으로 Train되었다던지..

안녕하세요, MoonLight입니다. ​ 오늘은 Deep Learning Model을 목적에 맞게 변화시킬 수 있는 Deep Learning Compiler에 대해서 알아보도록 하겠습니다. ​ 자, 가시죠~! ​ ​ ​ 0. Introduction ​ ​ ​ 우리는 다양한 Deep Learning Framework으로 Model을 만듭니다. 우리가 만든 Model이 실제로 실행되는 환경들은 매우 다양합니다. PC일수도 있고, Edge Device일수도 있고, Mobile Device, Cloud 환경 등등 매우 다양한 Target Device가 존재합니다. 이런 Target Device의 다양화에 어느 정도 대응할 수 있도록 해주는 것이 ONNX입니다. ONNX(Open Neural Network Exc..

안녕하세요, MoonLight입니다. 이번 Post에서는 Jupyter Notebook을 사용할 때 많이 사용하는 ipykernel Package에 대해서 알아보도록 하겠습니다. 0. Jupyter 최초에는 OS Shell에서 Python Code를 입력하면서 실행할 수 있는 프로젝트가 있었는데, 이를 ipython notebook이라고 했습니다. Command창에서 Python Code를 한줄한줄 입력하면서 결과를 확인할 수 있는 방식이었죠 . Python이 Compile방식이 아닌 Interpreter 방식이라서 가능한입니다. 위한 package입니다. 현재의 Jupyter의 Text Version이라고 할 수 있겠습니다. 그 후에 지원하는 언어가 R이나 Ruby등과 같은 것들이 추가되면서 지원 폭이..

이번 Post에서는 Learning Rate에 대해서 알아보고, Tensorflow의 Callback중 하나인, Learning Rate Scheduler 에 대해서 알아보도록 하겠습니다. 0. Learning Rate란 ? Learning Rate란 Deep Learning Model이 학습할 때 사용하는 Backpropagation 과정에서 오차를 Gradient에 적용하는 비율을 말합니다. Backpropagation를 수행할 때, Weight는 Loss Function을 오류를 줄이는 방향을 Update됩니다. 이때, 오류를 바로 Weight 변경에 적용하기 않고, Learning Rate를 곱해서 적용하게 됩니다. 예를 들면, Learning Rate가 0.5로 설정된 경우, 0.5 x 오류를 ..

이번 Post에서는 Tensorflow에서 제공하는 Visualization Tool인 Tensorboard의 사용법을 알아보도록 하겠습니다. 0. TensorBoard ? TensorBoard는 TensorFlow에서 제공하는 시각화 도구입니다. Model Train 중이나 Train이 끝난 후에 Model 학습의 진행 상황, 통계, 그래프 등을 시각적으로 확인할 수 있게 도와줍니다 https://www.tensorflow.org/tensorboard/get_started TensorBoard의 주요 기능은 다음과 같습니다 Scalar Visualization 각 Epoch 또는 Iteration마다의 Loss , Accuracy 등의 값 변화를 Graph로 시각화해 학습의 진행 상황을 모니터링 할 수..

이번 Post에서는 Tensorflow의 Callbadk중 하나인, EarlyStopping에 대해서 알아보도록 하겠습니다. 0. Callback Tensorflow에서 Train을 시작하는 함수인 .fit()을 호출하면 Tensorflow는 마치 브레이크 고장한 폭주 기관차와 같은 상태가 됩니다. 지정한 Epoch을 다 끝마칠 때까지 멈출수도 없고, 현재 상태가 어떤지 알수도 없으며 각종 Training관련 지표들(Loss , Accuracy 등등)이 어떻게 바뀌고 있는지 확인할 방법이 없습니다. 그래서 Tensorflow에서는 이렇게 Train이 진행되는 동안 다양한 제어 및 관찰을 할 수 있도록 다양한 Callback 기능을 구현해 두었습니다. Tensorflow에서 지원하는 다양한 Callback..

Abstract Deep learning applies multiple processing layers to learn representations of data with multiple levels of feature extraction. Deep learning은 multiple processing layer를 적용하여 representations of data를 학습하고, 여러 단계의 feature extraction을 수행합니다. This emerging technique has reshaped the research landscape of face recognition (FR) since 2014, launched by the breakthroughs of DeepFace and DeepID. ..