데이터 셋 분석 및 학습 비교(5) - Batch_size와 Epoch의 변화에 따른 정확도 변화와 keras_library(early stopping)

이전 글들에서 했었던 실습내용을 정리를 해봐야겠다...

첫번째, 나는 Fashion MNIST데이터 셋을 Load하여 학습모델에 변화를 주고,

(최적화함수, 활성화함수, 손실함수, epoch, Crossentropy)의 값들만 변화를 주어 정확도를 비교를 하고 있었다.

모델별로 정확도를 최종적으로 정리하면

 

 

----------------------------------------------------------------------------------------------------------------------

1) Softmax Classification Model

 

-Layer 2개의 가벼운 모델

-최적화 함수 :  Adam

-활성화 함수 : Softmax

-손실 함수 : Crossentropy

-Epoch : 100

-Batch_size : 1000 

 

--> 84.69%

 

----------------------------------------------------------------------------------------------------------------------

2) keras Sequential Dense Net

 

-Layer 9개 사용

-최적화 함수 :  Adam

-활성화 함수 : Relu, Softmax

-손실 함수 : Crossentropy

-Epoch : 100

Batch_size : 1000

 

--> 89.66%

----------------------------------------------------------------------------------------------------------------------

 

3) keras CNN

 

-Layer 16개 사용

-최적화 함수 : Adam, 활성화 함수 : Relu, Softmax

-손실 함수 : Crossentropy

-Epoch : 100 , Batch_size : 100 

-MaxPooling, DropOut 50% 적용

Conv network 사용(32, 64, 128, 256)으로 필터 증가

 

--> 92.31%

----------------------------------------------------------------------------------------------------------------------

 

 

 

이 실습? 실험에서 나는 Epoch, Batch_size에는 변화를 주지 않고 진행했었다. 이제 Epoch, Batch_size에 변화를 주어 비교분석해보고자 한다.

 

사실 epoch, batch_Size를 변화를 주어 학습해서 과정, 결과를 기록하고 정리하면 너무 많아 보기 편하게 표로 정리해봤다.

 

결론 먼저 말하면 다음과 같다. 

 

설명하자면,

파란점은 가로 : epoch, 세로 : batch_size에 변화에 따른 정화도를 그래프로 표현한 것이다.

그리고 최종적인 학습 정확도를 accuracy graph로 나타낸 것이다.

 

학습을 몇번을 시켰는지 모르겠다....... 컴퓨터 gpu가 다 탔을 지도 모른닼ㅋㅋㅋㅋㅋㅋㅋ 엄청 무거운 편은 아니지만;;;

정확도 결과 그래프

밑에 그림이 잘 안보이지만 epoch와 batch_size에 따른 정확도의 변화를 나타낸것이다.. 원래 마우스 포인터를 갔다 대면 동그란 원리 움직이면서 보여주지만... Tstory의 한계인것 같다.

많은 epoch와 batch_size의 변화를 주면서 좋은 기능을 찾은것이 있다.

 

학습을 시키다보면 학습정확도가 일정하게 유지되면서 시간낭비를 하는 경우가 생긴다.

 

이런 경우를 방지하기위해 Early Stopping이라는 Keras에서 지원하는 라이브러리가 있었다. 정리하면 다음과 같다.

 

링크 : https://keras.io/api/callbacks/early_stopping/#earlystopping

지속해서 정확도의 상승률을 monitoring을 하고 있다가 일정 validation이 일정하게 유지되면 학습을 중지시킨다.

 

validation_freq변수를 통해서 오차범위를 설정할 수 있다.

 

 

 

밑에 내용은 학습이 끝나면 결과를 자동 저장해주는 기능이다.

 

지정된 경로에 정확도 그래프를 저장하도록 설정하는 것이 다능하다.

 

 

위와 같이 나는 학습에 조금이나마 시간을 단축시킬 수 있었다.(뿌듯)