안녕하세요, MoonLight입니다. ​ 이번 Post에서는 Learning Rate에 대해서 알아보고, Tensorflow의 Callback중 하나인, Learning Rate Scheduler 에 대해서 알아보도록 하겠습니다. ​ ​ ​ 0. Learning Rate란 ? Learning Rate란 Deep Learning Model이 학습할 때 사용하는 Backpropagation 과정에서 오차를 Gradient에 적용하는 비율을 말합니다. Backpropagation를 수행할 때, Weight는 Loss Function을 오류를 줄이는 방향을 Update됩니다. 이때, 오류를 바로 Weight 변경에 적용하기 않고, Learning Rate를 곱해서 적용하게 됩니다. 예를 들면, Learning ..

이번 Post에서는 Learning Rate에 대해서 알아보고, Tensorflow의 Callback중 하나인, Learning Rate Scheduler 에 대해서 알아보도록 하겠습니다. 0. Learning Rate란 ? Learning Rate란 Deep Learning Model이 학습할 때 사용하는 Backpropagation 과정에서 오차를 Gradient에 적용하는 비율을 말합니다. Backpropagation를 수행할 때, Weight는 Loss Function을 오류를 줄이는 방향을 Update됩니다. 이때, 오류를 바로 Weight 변경에 적용하기 않고, Learning Rate를 곱해서 적용하게 됩니다. 예를 들면, Learning Rate가 0.5로 설정된 경우, 0.5 x 오류를 ..

이번 Post에서는 Tensorflow에서 제공하는 Visualization Tool인 Tensorboard의 사용법을 알아보도록 하겠습니다. 0. TensorBoard ? TensorBoard는 TensorFlow에서 제공하는 시각화 도구입니다. Model Train 중이나 Train이 끝난 후에 Model 학습의 진행 상황, 통계, 그래프 등을 시각적으로 확인할 수 있게 도와줍니다 https://www.tensorflow.org/tensorboard/get_started TensorBoard의 주요 기능은 다음과 같습니다 Scalar Visualization 각 Epoch 또는 Iteration마다의 Loss , Accuracy 등의 값 변화를 Graph로 시각화해 학습의 진행 상황을 모니터링 할 수..

이번 Post에서는 Tensorflow의 Callbadk중 하나인, EarlyStopping에 대해서 알아보도록 하겠습니다. 0. Callback Tensorflow에서 Train을 시작하는 함수인 .fit()을 호출하면 Tensorflow는 마치 브레이크 고장한 폭주 기관차와 같은 상태가 됩니다. 지정한 Epoch을 다 끝마칠 때까지 멈출수도 없고, 현재 상태가 어떤지 알수도 없으며 각종 Training관련 지표들(Loss , Accuracy 등등)이 어떻게 바뀌고 있는지 확인할 방법이 없습니다. 그래서 Tensorflow에서는 이렇게 Train이 진행되는 동안 다양한 제어 및 관찰을 할 수 있도록 다양한 Callback 기능을 구현해 두었습니다. Tensorflow에서 지원하는 다양한 Callback..