딥러닝 - 회귀에서의 역전파 구현

아주 간단하게 파이썬으로 역전파로 인해 신경망의 학습하는 구조를 이해하고 간단히 신경망을 구축해보자.

 

조건은 다음과 같이 줬다.

 

1. sin(x)함수를 정답 데이터로 가지고 x값을 입력, y값을 출력으로 하겠습니다. 

2. 은닉층은 3개, 입력과 출력은 각 1개 씩 뉴런을 생산하겠습니다.

3. 은닉층의 활성화 함수는 시그모이드 함수를 사용하겠습니다.

4. 출력층의 활성화 함수는 항등함수를 사용하겠습니다.

5. 손실 함수는 오차제곱합을 사용하겠습니다.

6. 배치 사이즈는 1로 설정합니다.

 

결과를 설명하자면 1, 2, 3, 4 순으로 경사하강법을 1차례 학습한 경우, 2차례, 3차례 최종 4차례 줬을 때 정확도의 차이를 표현한 것이다.

 

단순 돌려 보기만하는 것과 이전 글에서 왜 값이 정확해 지는지 알고 적용하는 것은 큰 차이라고 생각한다.