안녕하세요, MoonLight입니다.​이번 Post에서는 Learning Rate를 효율적으로 변경하여 학습이 잘 이루어지도록 도와주는 Learning Rate Scheduler에 대해서 알아보도록 하겠습니다.​​​​​​1. Learning Rate 1.1. Learning Rate ? 딥러닝에서 모델을 학습할 때 가장 중요한 하이퍼파라미터 중 하나가 학습률(Learning Rate, LR)입니다. Learning Rate는 모델이 데이터를 학습하는 과정에서 가중치(Weight)와 편향(Bias)을 얼마나 빠르게 업데이트할지를 결정하는 값입니다. 쉽게 말해, Learning Rate은 우리가 경사 하강법(Gradient Descent)을 이용해 최적의 Weight를 찾아가는 과정에서 한 번의 업데이트..

안녕하세요, MoonLight입니다.​이번 Post에서는 Deep Learning 분야에서 많이 사용되는 Transfer Learning에 대해서 알아보도록 하겠습니다.​​​ 1. Transfer Learning 개요 ​ 1.1. Transfer Learning이란 ?Deep Learning이 급속도로 발전하면서 Model의 성능이 비약적으로 향상되었지만, 여전히 Model을 처음부터 학습시키는 것은 매우 어려운 과제입니다.​우수한 성능을 갖춘 Deep Learning Model을 훈련하려면 대량의 데이터와 강력한 연산 자원이 필요하며, 적절한 학습이 이루어지기까지 오랜 시간이 소요됩니다.​또한, Model 학습이 한 번에 완벽하게 된다는 것은 현실에서는 있을 수 없는 일이며, 매우 많은 시행착오를 거치..

0. 소개​안녕하세요. 현재 AI 분야를 평정하고 있는 생성형 AI(Generative AI)의 기본은 Self-Attention을 기반으로 하는 Transformer 구조입니다.​Transformer는 지금까지 발표된 어떤 구조보다도 우수한 성능을 가지지만, 유일한 단점이라면 Model의 표현력과 비례해서 Hidden State도 커져야 한다는 것입니다.​최근 발표된 Llama 3.1은 Model을 구성하는 Parameter의 개수가 4000억 개가 넘는다고 하죠.​이와 같은 Transformer의 구조는 한계를 극복하고자 발표된 Model이 TTT(Test-Time Training)이라는 구조로써, 핵심은 Hidden State 값들을 개별적으로 모두 저장하는 것이 아니라,​Hidden State 값..

안녕하세요, MoonLight입니다.​이번 Post에서는 1x1 Convolution 연산에 대해서 알아보도록 하겠습니다.​우선 일반적인 Convolution 연산에 대해서 알아본 후 이 글을 읽어주셨으면 좋겠습니다.​Convolution에 대한 글은 아래 Link를 참고해 주시기 바랍니다. https://moonlight314.tistory.com/entry/CNN-Convolutional-Neural-Network CNN ( Convolutional Neural Network )CNN(Convolutional Neural Network)은 주로 Image에 사용되는 Deep Learning Architecture입니다. Image Classification, Object Detection / Segm..

한빛미디어 ‘나는 리뷰어다’ 활동을 위해서 책을 제공받아 작성된 서평입니다.​​ ​​이 책은 이런 책이에요 요즘은 산업/사회 전반적으로 Machine Learning / Deep Learning이 사용되지 않는 곳을 찾기가 어려워졌습니다.​다양한 분야에서 인간의 결정에 조금씩 도움을 줍니다.​물론 그 결정이 그리 큰 위험이 없는 분야일 수도 있지만, 어떤 경우에는 그 결정이 큰 영향을 끼치는 고위험인 경우도 있습니다.​Machine Learning Model이 이와 같은 고위험 결정을 하고 있기 때문에 최근들어서 Model 그 자체의 위험성도 서서히 드러나고 있는 실정입니다.​​Machine Learning Model이 중요한 결정을 하는 일이 늘어나다 보니, 의도하지 않은 오용 혹은 의도적인 남용으로 ..

안녕하세요, MoonLight입니다. ​ 오늘은 Deep Learning Model을 목적에 맞게 변화시킬 수 있는 Deep Learning Compiler에 대해서 알아보도록 하겠습니다. ​ 자, 가시죠~! ​ ​ ​ 0. Introduction ​ ​ ​ 우리는 다양한 Deep Learning Framework으로 Model을 만듭니다. 우리가 만든 Model이 실제로 실행되는 환경들은 매우 다양합니다. PC일수도 있고, Edge Device일수도 있고, Mobile Device, Cloud 환경 등등 매우 다양한 Target Device가 존재합니다. 이런 Target Device의 다양화에 어느 정도 대응할 수 있도록 해주는 것이 ONNX입니다. ONNX(Open Neural Network Exc..

Abstract Deep learning applies multiple processing layers to learn representations of data with multiple levels of feature extraction. Deep learning은 multiple processing layer를 적용하여 representations of data를 학습하고, 여러 단계의 feature extraction을 수행합니다. This emerging technique has reshaped the research landscape of face recognition (FR) since 2014, launched by the breakthroughs of DeepFace and DeepID. ..

한빛미디어 '나는 리뷰어다' 활동을 위해서 책을 제공받아 작성된 서평입니다. 0. 소개 Image 분야의 Deep Learning에 CNN 구조가 있다면, Text 분야의 Deep Learning에서의 대세는 역시 Transformer입니다. 2017년에 Google에 의해 'Attention Is All You Need' Paper가 발표되고 난 후, NLP 분야는 Transformer로 인해 그야말로 비약적인 발전을 이루게 됩니다. Paper 발표 이후, Text Classification , Summarization , Translation , QA, NLU , NER 등 모든 Text 관련 부분에서 SOTA를 이루어 냈고, 지금도 그 위력은 여전합니다. Transformer 구조 자체가 약간 어려..

한빛미디어 '나는 리뷰어다' 활동을 위해서 책을 제공받아 작성된 서평입니다. 0. 소개 요즘에는 Machine Learning / Deep Learning이 일상생활에 알게 모르게 스며들어 있고, 누구나 배우고자 한다면 매우 다양한 자료를 접할 수 있습니다. Deep Learning 분야에서 가장 먼저 큰 진전을 이루었던 것이 Image 분야이지만, 시각적인 인공지능 못지않게 인간들에게 중요한 것이 글로 쓰인 Data 즉, Text Data입니다. NLP(Natural Language Process)를 다루는 수많은 동영상 강의, Technical Blog 등에서는 가장 기초적인 부분에서부터 최신 트렌드를 반영하는 주제까지 모두 다루고는 있습니다. 하지만, 정작 실무에 적용하려고 하면 막막한 것이 현실입..

https://www.kaggle.com/competitions/paddy-disease-classification/overview 쌀의 잎 모양을 보고 현재 질병을 있는 없는지, 질병이 있으면 어떤 질병인지 판단하는 Competition입니다. 기본적으로 Image Classification으로 진행해 보도록 하겠습니다. 0. Train import pandas as pd import os import numpy as np from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split import tensorflow as tf from tensorflow.keras.models impor..