0. Introduction​Backpropagation은 Deep Learning 학습의 핵심 메커니즘입니다.Deep Learning의 학습은 학습하려는 Train Data를 Network에 넣어서 값을 출력하는 순서를 거치게 됩니다.이 과정을 Feedforward라고 합니다. 물론 이 과정에서 출력되는 값은 Network이 학습이 진행되기 전이기 때문에 실제 Target 값과 많이 차이가 나게 됩니다.Deep Learning은 Target 값과 실제 정답과의 차이를 이용하여 Network을 구성하는 Parameter(Weight , Bias)를 적절하게 Update 합니다.이 과정을 Backpropagation이라고 하며, 이번 Post에서는 Backpropagation 과정이 실제로 어떻게 동작하는..

이번 Post에서는 Learning Rate에 대해서 알아보고, Tensorflow의 Callback중 하나인, Learning Rate Scheduler 에 대해서 알아보도록 하겠습니다. 0. Learning Rate란 ? Learning Rate란 Deep Learning Model이 학습할 때 사용하는 Backpropagation 과정에서 오차를 Gradient에 적용하는 비율을 말합니다. Backpropagation를 수행할 때, Weight는 Loss Function을 오류를 줄이는 방향을 Update됩니다. 이때, 오류를 바로 Weight 변경에 적용하기 않고, Learning Rate를 곱해서 적용하게 됩니다. 예를 들면, Learning Rate가 0.5로 설정된 경우, 0.5 x 오류를 ..

한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다. Deep Learning이 대중들에게 이름을 알리기 시작한 것은 무엇보다도 Image Data를 처리하는 데에 있어서 인간에 버금가는 능력을 보여주면서부터라고 생각합니다. 그 이후로 Deep Learning / AI가 우리가 알게 모르게 일상생활에 깊숙이 파고들고 있는 것이 사실입니다. 하지만, Python을 익히고 Deep Learning에 자주 사용되는 Package들의 사용법을 익힌 후에 실제로 간단한 Image Classification 작업을 해보는 것은 생각만큼 쉽지 않습니다. 다양한 예제들이 많지만 대부분 수학적인 원리나 해당 Code가 어떤 일을 하는지 그리고 왜 필요한지에 대해서는 자세히 설명되어 있지 않거나 알 수 없는 수학 기..

0. Introduction 0.1. Gradient Vanishing / Exploding Neural Network의 Train시에 Gradient 값의 변화를 보고 Parameter를 조절합니다. Gradient는 변화량, 즉 미분값입니다. Neural Network의 깊이가 깊어질수록 Backpropagation시에 Gradient 값들이 Input Layer의 입력값의 변화를 적절하게 학습에 반영하지 못합니다. Backpropagation시에, Non-Linear Activation Function(Ex. Sigmoid / Tanh )들을 사용하면 Layer를 지날수록 Gradient 값들이 점점 작아지거나(Gradient Vanishing) 혹은 반대로 Gradient 값들이 점점 커져서(Gr..