안녕하세요, MoonLight입니다.​이번 Post에서는 모델의 학습을 적절한 시점에 마무리 할 수 있도록 해주는 Early Stopping이라는 개념과 구현에 대해서 알아보도록 하겠습니다.​​​ 1. Early Stopping 1.1. Early Stopping이란? Deep Learning 모델을 훈련할 때, 보통 더 많은 Epoch을 수행할수록 성능이 좋아질 것이라고 생각할 수 있는데, 현실에서는 무작정 학습을 오래 한다고 해서 항상 좋은 모델이 되는 것이 아닙니다.모델이 처음 학습을 시작하면, 훈련 데이터의 패턴을 학습하면서 점차 Loss가 줄어듭니다. 그러나 어느 순간이 지나면 훈련 데이터에 지나치게 최적화(overfitting)되면서 검증 데이터(Validation Set)에서의 성능이..

안녕하세요, MoonLight입니다. ​ 이번 Post에서는 Learning Rate에 대해서 알아보고, Tensorflow의 Callback중 하나인, Learning Rate Scheduler 에 대해서 알아보도록 하겠습니다. ​ ​ ​ 0. Learning Rate란 ? Learning Rate란 Deep Learning Model이 학습할 때 사용하는 Backpropagation 과정에서 오차를 Gradient에 적용하는 비율을 말합니다. Backpropagation를 수행할 때, Weight는 Loss Function을 오류를 줄이는 방향을 Update됩니다. 이때, 오류를 바로 Weight 변경에 적용하기 않고, Learning Rate를 곱해서 적용하게 됩니다. 예를 들면, Learning ..

이번 Post에서는 Learning Rate에 대해서 알아보고, Tensorflow의 Callback중 하나인, Learning Rate Scheduler 에 대해서 알아보도록 하겠습니다. 0. Learning Rate란 ? Learning Rate란 Deep Learning Model이 학습할 때 사용하는 Backpropagation 과정에서 오차를 Gradient에 적용하는 비율을 말합니다. Backpropagation를 수행할 때, Weight는 Loss Function을 오류를 줄이는 방향을 Update됩니다. 이때, 오류를 바로 Weight 변경에 적용하기 않고, Learning Rate를 곱해서 적용하게 됩니다. 예를 들면, Learning Rate가 0.5로 설정된 경우, 0.5 x 오류를 ..

이번 Post에서는 Tensorflow의 Callbadk중 하나인, EarlyStopping에 대해서 알아보도록 하겠습니다. 0. Callback Tensorflow에서 Train을 시작하는 함수인 .fit()을 호출하면 Tensorflow는 마치 브레이크 고장한 폭주 기관차와 같은 상태가 됩니다. 지정한 Epoch을 다 끝마칠 때까지 멈출수도 없고, 현재 상태가 어떤지 알수도 없으며 각종 Training관련 지표들(Loss , Accuracy 등등)이 어떻게 바뀌고 있는지 확인할 방법이 없습니다. 그래서 Tensorflow에서는 이렇게 Train이 진행되는 동안 다양한 제어 및 관찰을 할 수 있도록 다양한 Callback 기능을 구현해 두었습니다. Tensorflow에서 지원하는 다양한 Callback..