인공지능과기계학습 기말정리

목차

없음

본문내용

[신경망의 오차]
•출력계층의 오차
•은닉계층의 오차
은닉계층에는 은닉계층의 출력값과 비교할 목표값이 존재하지 않기 때문에, 출력계층의 오차를 재조합하여 은닉계층의 오차를 구한다.
이처럼 출력계층에서 은닉계층으로, 은닉계층에서 입력계층으로 값이 전달되는 방식을 역전파라고 한다.
– Solution
출력계층의 각 노드의 오차를 해당 노드와 연결된 은닉계층의 모든 노드에 그 가중치의 비율만큼 배분하여 역전파하고, 은닉계층의 각 노드는 배분된 오차의 합을 구하여 재조합된 오차를 구한다.
예를 들어, 은닉계층 1노드의 오차는…
-행렬로 표현 : 기본
-행렬로 표현 : 분모 생략(정규화인자 생략)
⇒ 행렬의 행과 열을 바꾸는 “전치”를 이용하고 T를 붙여 이를 표현
•오차를 이용한 가중치의 수정
위에서의 방법으로 각 계층의 각 노드에서의 오차를 구할 수 있다. 그럼 각 계층 각 노드의 오차는 이와 연결된 모든 가중치에 얼마만큼 수정하라고 안내해주는가?

출처 : 해피캠퍼스