728x90
반응형

dataset 6

PyTorch에서 .to(device)를 사용하는 이유

안녕하세요, MoonLight입니다.​PyTorch를 사용하다보면, Tensorflow에는 없는 '.to(device)'라는 문구를 보게 됩니다.​이번 Post에서는 이 명령어가 무엇이고 왜 필요한지에 대해서 알아보도록 하겠습니다.​​  1. 딥러닝 연산과 하드웨어 딥러닝 모델은 엄청난 부동소수점 연산을 행렬 연산(Matrix Computation)을 수행합니다.​이러한 연산은 CPU에서도 가능하지만, GPU(Graphics Processing Unit)를 활용하면 훨씬 빠르게 처리할 수 있습니다.​​CPU (중앙처리장치)GPU (그래픽처리장치)연산 방식직렬(Serial) 연산병렬(Parallel) 연산핵심 개수소수의 강력한 코어수천수만 개의 작은 코어연산 속도일반적인 연산에 적합대량의 연산을 빠르게 처..

Deep_Learning 2025.02.20

LFW(Labeled Faces in the Wild) Dataset

안녕하세요, MoonLight입니다. ​ 오늘은 얼굴 인식 Model의 성능 측정에 많이 사용되는 LFW Dataset에 대해서 알아보도록 하겠습니다. ​ 최근에 얼굴 인식 관련 Model일을 하게 되면서 접하게 되었는데, 광범위하게 많이 사용되는 것 같아서 한 번 정리해 보려고 합니다. ​ ​ 0. 소개 2009년에 공개된 LFW Dataset은 Web상에서 총 5749명의 유명인에 대해서 취득된 13233장의 사진으로 구성되어 있습니다. 기존에 제약된 환경에서 촬영된 얼굴 사진 Dataset(FERET , MultiPIE)와 비교했을 때 상대적으로 일상생활에서 나타나는 조명이나 표정, 그리고 포즈변화 등 다양한 변화가 포함되어 있기 때문에 얼굴 인식 Model 성능 검증을 위해 널리 활용되고 있습니다..

Deep_Learning 2024.01.17

Mask Detection Deep Learning Model

이 Project의 Github Repository Link 0. Introduction 0.0. Motivation COVID-19 상황속에서 Deep Learning을 이용하여 RGB Cam.으로 실시간으로 Mask 착용 여부를 확인할 수 있는 Model을 만들어 보겠습니다. 0.1. Face Detector Dataset에서 사람 얼굴 부분만을 추출하기 위해서 Face Detector를 사용하여야 합니다. 우선 사람의 얼굴부분만을 빠르게 Detecting할 수 있는 Model을 찾아보았고, 최종적으로 Tensorflow와 호환이 잘되는 OpenCV DNN Face Detector를 사용하기로 했습니다. DNN Face Detector in OpenCV [https://learnopencv.com/f..

Deep_Learning 2023.09.09

The Strategy of Transfer Learning & Fine Tuning

0. Transfer Learning 다른 Dataset으로 이미 학습된(Pre-Trained) Model을 가져와서 내가 하고자 하는 작업에 적용하는 것을 말합니다. 1. Fine Tuning Pre-Trained Model은 다른 Dataset에서 학습된 Weight & Bias를 가지고 있기 때문에 새롭게 적용하려는 작업에 잘 맞지 않을 수가 있다. Pre-Trained Model을 새로운 작업에 맞게 Weight & Classifier를 새롭게 조정하는 작업을 Fine Tuning이라고 한다. Pre-Trained Model 전체를 다시 Tuning할 지 혹은 일부만 Tuning할 지는 여러가지 상황을 고려하여 선택한다. 3. Dataset의 특성과 양에 따른 Fine-Tuning 전략 3.1. ..

Deep_Learning 2023.09.02

Making TFRecord File

TFRecord File Format은 Tensorflow의 자체적인 Binary File Format입니다. 대규모 Dataset으로 작업을 할 경우 Binary File로 작업을 한다면 Data Input Pipeline의 효율을 높일 수 있으며, 결과적으로 전체적인 Model의 Training 시간도 향상될 수 있습니다. Binary Data는 Storage에 공간도 덜 차지할 뿐 아니라, Read / Write시에도 더 효율적입니다. 더욱이, Storage가 Motor를 사용하는 장치라면 더욱 그렇습니다. 단순히 TFReocrd File Format이 Binary여서 성능 향상을 이룬다는 것이 아니라, TFRecord가 Tensorflow에 최적화 되어 있기 때문에 Tensorflow가 제공하는 ..

Deep_Learning 2023.08.26

Tensorflow Input Pipeline

주어진 Data로 부터 Train에 필요한 Data형태로 변환하기까지는 매우 지루하고 험난한 과정입니다. Model에 입력 Foramt에 맞게 Shape을 변경하고, Data Augmentation도 고려해야 합니다. 가장 중요한 것은 주어진 Data가 수십, 수백만개가 있다면 Performance 또한 중요한 고려 요소가 됩니다. 이런 모든 고민을 해결해 주기 위해서 Tensorflow에서는 tf.data Module과 tf.data.Dataset Module을 준비놓았습니다. 이번 Post에서는 Tensorflow를 이용하여 효율적인 Data Input Pipeline을 만드는 방법을 알아보고자 합니다. tf.data.Dataset에서는 map / prefetch / cache / batch 이렇게 ..

Deep_Learning 2023.08.26
728x90
반응형