안녕하세요, MoonLight입니다.​nVidia RTX 50 시리즈가 발표되었고, 성능과는 별개로 다양한 문제들로 인해서 시끌시끌합니다.​이 기회를 놓치지 않고 AMD가 9070으로 좋은 기회를 맞이하고 있습니다만, 이런 이야기말고 nVidia가 새롭게 발표한 DLSS 4.0에 대한 기술적 이야기와 AMD의 경재 기술인 FSR도 같이 이야기해 볼까 합니다.​​​  1. DLSS (Deep Learning Super Sampling) DLSS는 nVidia가 개발한 AI 기반 업스케일링 기술의 이름입니다. Deep Learning Super Sampling의 약자로, 낮은 해상도에서 렌더링된 게임 이미지를 AI를 활용해 고해상도 이미지로 업스케일링하여 화질 저하를 최소화하면서 프레임률을 향상시키는 기술을..

안녕하세요, MoonLight입니다.​저는 긴 작업을 수행하는 경우, 예를 들면 Model Train을 한다든지, Data 전체에 걸친 작업을 해야 하는데 금방 끝나지 않는 경우에 곡 tqdm을 사용해서 진척도를 확인하는 편입니다.​어느 정도 진행되고 있는지 혹시 뻗은 건 아닌지 확인해야 마음이 편해지기 때문입니다.​그런데, Pandas Dataframe에 apply()를 사용하는 경우에는 진척도를 볼 수가 없어서 답답한 경우가 있습니다.​이번 Post에서는 Pandas Dataframe에 apply()를 적용하는 경우에도 tqdm의 진척도 그래프를 볼 수 있는 방법을 알아보도록 하겠습니다.​​방법은 의외로 간단합니다. apply()대신 progress_apply()를 사용하면 됩니다.​생각보다 너무 쉬..

안녕하세요, MoonLight입니다.​이번 Post에서는 Deep Learning 분야에서 많이 사용되는 Transfer Learning에 대해서 알아보도록 하겠습니다.​​​ 1. Transfer Learning 개요 ​ 1.1. Transfer Learning이란 ?Deep Learning이 급속도로 발전하면서 Model의 성능이 비약적으로 향상되었지만, 여전히 Model을 처음부터 학습시키는 것은 매우 어려운 과제입니다.​우수한 성능을 갖춘 Deep Learning Model을 훈련하려면 대량의 데이터와 강력한 연산 자원이 필요하며, 적절한 학습이 이루어지기까지 오랜 시간이 소요됩니다.​또한, Model 학습이 한 번에 완벽하게 된다는 것은 현실에서는 있을 수 없는 일이며, 매우 많은 시행착오를 거치..

안녕하세요, MoonLight입니다.​PyTorch를 사용하다보면, Tensorflow에는 없는 '.to(device)'라는 문구를 보게 됩니다.​이번 Post에서는 이 명령어가 무엇이고 왜 필요한지에 대해서 알아보도록 하겠습니다.​​  1. 딥러닝 연산과 하드웨어 딥러닝 모델은 엄청난 부동소수점 연산을 행렬 연산(Matrix Computation)을 수행합니다.​이러한 연산은 CPU에서도 가능하지만, GPU(Graphics Processing Unit)를 활용하면 훨씬 빠르게 처리할 수 있습니다.​​CPU (중앙처리장치)GPU (그래픽처리장치)연산 방식직렬(Serial) 연산병렬(Parallel) 연산핵심 개수소수의 강력한 코어수천수만 개의 작은 코어연산 속도일반적인 연산에 적합대량의 연산을 빠르게 처..

안녕하세요, MoonLight입니다.​이번 Post에서는 PyTorch GPU Version을 설치해도록 하겠습니다.​Tensorflow보다 설치가 쉬울지 어떨지 한 번 해 보도록 하죠​우선, Anaconda를 이용해서 가상환경을 만들어서 설치할 예정이니, 이미 Anaconda가 설치되어 있다고 가정하겠습니다.​Anaconda는 아래 Link에서 받아서 설치하시면 됩니다. https://www.anaconda.com/download Download Anaconda Distribution | AnacondaDownload Anaconda's open-source Distribution today. Discover the easiest way to perform Python/R data science and..

0. 소개​안녕하세요. 현재 AI 분야를 평정하고 있는 생성형 AI(Generative AI)의 기본은 Self-Attention을 기반으로 하는 Transformer 구조입니다.​Transformer는 지금까지 발표된 어떤 구조보다도 우수한 성능을 가지지만, 유일한 단점이라면 Model의 표현력과 비례해서 Hidden State도 커져야 한다는 것입니다.​최근 발표된 Llama 3.1은 Model을 구성하는 Parameter의 개수가 4000억 개가 넘는다고 하죠.​이와 같은 Transformer의 구조는 한계를 극복하고자 발표된 Model이 TTT(Test-Time Training)이라는 구조로써, 핵심은 Hidden State 값들을 개별적으로 모두 저장하는 것이 아니라,​Hidden State 값..

0. Introduction​Backpropagation은 Deep Learning 학습의 핵심 메커니즘입니다.Deep Learning의 학습은 학습하려는 Train Data를 Network에 넣어서 값을 출력하는 순서를 거치게 됩니다.이 과정을 Feedforward라고 합니다. 물론 이 과정에서 출력되는 값은 Network이 학습이 진행되기 전이기 때문에 실제 Target 값과 많이 차이가 나게 됩니다.Deep Learning은 Target 값과 실제 정답과의 차이를 이용하여 Network을 구성하는 Parameter(Weight , Bias)를 적절하게 Update 합니다.이 과정을 Backpropagation이라고 하며, 이번 Post에서는 Backpropagation 과정이 실제로 어떻게 동작하는..

안녕하세요, MoonLight입니다.​이번 Post에서는 Transpose Convolution에 대해서 알아보도록 하겠습니다.​​0. 소개​Transpose Convolution은 우리가 흔히 알고 있는 CNN Model에서 주로 사용되는 Convolution과 반대되는 연산을 수행합니다.​Convolution 연산은 특정 크기의 Kernel이라는 Filter를 이용해서 Image를 Scan하면서 Feature를 뽑아내는 동작을 하면서​점점 작아지는 Feature Map을 생성하는 연산입니다.​Convolution 연산에 대한 아래 글을 한 번 읽어보세요~https://moonlight314.tistory.com/entry/CNN-Convolutional-Neural-Network CNN ( Convo..

이번 Post에서는 U-Net에 관해서 알아보도록 하겠습니다.​0. Introduction​U-Net은 2015년 Olaf Ronneberger, Philipp Fischer, Thomas Brox의 “U-Net_Convolutional Networks for Biomedical Image Segmentation”이라는 Paper에 처음 소개되었으며, 효율적인 구조와 성능은 특히 적은 양의 Train Data로도 우수한 분할 결과를 얻을 수 있게 하며, Paper 제목에서도 유추할 수 있듯이, Data가 부족하거나 비싼 의료 분야에서 특히 두각을 나타냈습니다.​​1. 사용 예U-Net의 강점은 배경과 객체를 분리하는데 특화된 모델이고 또한 특히 적은 양의 Train Data로도 우수한 분할 결과를 얻을 ..

안녕하세요, MoonLight입니다.​이번 Post에서는 1x1 Convolution 연산에 대해서 알아보도록 하겠습니다.​우선 일반적인 Convolution 연산에 대해서 알아본 후 이 글을 읽어주셨으면 좋겠습니다.​Convolution에 대한 글은 아래 Link를 참고해 주시기 바랍니다. https://moonlight314.tistory.com/entry/CNN-Convolutional-Neural-Network CNN ( Convolutional Neural Network )CNN(Convolutional Neural Network)은 주로 Image에 사용되는 Deep Learning Architecture입니다. Image Classification, Object Detection / Segm..