04. 분류하는 뉴런 만들기 - 이진 분류(3)

04-3. 로지스틱 손실 함수를 경사 하강법에 적용하기

로지스틱 손실 함수

• 로지스틱 회귀와 같은 분류의 목표는 올바르게 분류된 샘플 데이터의 비율 자체를 높이는 것이다.
• 로지스틱 손실 함수는 크로스 엔트로피 손실함수를 이용하여 만들었다.
• 로지스틱 손실 함수는 다음과 같고 a는 활성화 함수가 출력한 값이고 y는 타깃이다.

→ 이진 분류는 그렇다(1), 아니다(0)라는 식으로 2개의 정답만 있다. 즉, 타깃의 값은 1 또는 0 이다. 따라서 위 식은 y가 1이거나 0인 경우로 정리된다.

	L
y가 1인 경우 (양성 클래스)	L = - log( a )
y가 0인 경우 (음성 클래스)	L = - log( l - a )

* 양성 클래스인 경우 로지스택 손실 함수의 값을 최소로 만들려면 a는 1에 가까워지고, 반대로 음성 클래스인 경우 로지스틱 손실 함수의 값을 최소로 만들면 a가 0에 가까워진다. 

즉, 로지스틱 손실 함수를 최소화하면 a의 값이 우리가 가장 이상적으로 생각하는 값이 된다.

(이상적인 a를 찾기 위해 로지스틱 손실함수의 최소값을 만드는 가중치(w)와 절편(b)을 찾기 위해 미분하면 된다.)

 

 

로지스틱 손실 함수 미분하기

미분한 결과를 보면 y_hat가 a로 바뀌었을 뿐 제곱 오차를 미분한 결과와 동일하다. 

* 로지스틱 손실 함수의 미분을 통해 로지스틱 손실 함수의 값을 최소로 하는 가중치와 절편을 찾아야 한다는 점이 중요하다

https://m.blog.naver.com/vitality1994/221770808869

 

 

 

로지스틱 손실 함수의 미분 과정 정리하고 역전파 이해하기

 

오른쪽부터 살펴보면 로지스틱 손실 함수 L은 a에 대하여 미분하고, a는 z에 대하여 미분하고, z는 w에 대하여 미분한다.

그리고 각 도함수의 곱을 가중치 업데이트에 사용한다. 

* '그레이디언트가 역전파된다' => 로지스틱 손실 함수에 대한 미분이 연쇄 법칙에 의해 진행되는 구조

 

▷ 가중치 업데이트 방법 

로지스틱 손실 함수를 가중치에 대해 미분한 식을 가중치에서 뺀다.

▷ 절편 업데이트 방법

로지스틱 손실 함수를 절편에 대해 미분한 식을 절편에서 뺀다.

 

---

< 참고 자료 >

Do it! 딥러닝 입문 - 박해선 지음