[AI_DeepLeaning_study CH02] 기울기 !야코비안 메트릭스! Backpropagation
[선형회귀를 위한 수학 로드맵]
1. 미분
- 미분 계수
x가 변화할때 y의 변화량
도함수 : 기울기
** 최적화 문제를 풀기위해 미분을 하는 이유는
업데이트 방향을 정해주기 위함.
예시)
+ 로가면 값이 더 커질거야
-로가면 값이 더 커질거야
도함수에 -를 붙인다면 값이 작아지는 방향을 알려줌
-4일때 +로가야 값이 작아짐
2일때 -로 가야 값이 작아짐
이것을 다항변수에 적용해보자
미분을 이용해 가장작은 점을 찾아보자.
칸토 ? 로그 스케일 :: 가운데로 optimal point 되는 과정 보기위해 로그 취해줌?
gradients : 기울기
x증가량 분의 y증가량을 벡터로 편미분을 표현한것
그라디언트에 마이너스를 취해서 가장 작은 방향을 취한다. : 최적화 !
차원을 좀더 높여서 ..
2. Jacobian Matrices
- 벡터 함수 ... 가보자.
t에 관한 두 함수
이거를 하나의 함수로 표현해보면
r 벡터함수가 되고 이런식으로 t에 대해 방향을 갖는 함수가 그려져
t에 대한 함수가 더 늘어나면 더 차원이 높은 벡터함수가 됨
- 자 이제 야코비안 함수 !
이게 인자가 여러개고 함수가 여러개인 상황이야.
(MLP) 여기서 특징 여러개 레이어 여러개 그런 상황.
그래서 이게 저런 4가지의 경우를 가져
함수 하나 인자하나
함수하나 인자 여러개
함수 여러개 인자 한개
함수 여러개 인자 여러개
옆으로 나열된거는 함수 하나에 인자 여러갠데 앞의 강의에서 나온 Gradient
이 부분임.
아래로 긴 네모는 함수가 여러개니까 아래로 쭉쭉쭉 써준다.
그러면 인자 여러개 함수 여러개면?
인자 개수 옆으로 n개 = 기울기
함수 개수 아래로 m개
그래서 행 (row) m* 열 (column) n 해서 m*n
** Backpropagation을 하기위해 기울기(편미분)를 구하는 중이다.
<요약>
야코비안 메트릭스를 통해
첫번째 두번쨰 ... n번째 그라디언트를 구할 수있다.
전체 메트릭스에 -를 곱해서
전체함수가 감소하는 계산을 한번에 할 수 있다.
- Jacobians for Element-wise Binary Operations
f(x) 함수에대한 a 인자가 여러개 . 그거를 풀어서 메트릭스화하면 저렇게 각 인자에대해 함수를 미분해야함
그러면
미분하는 인자를 제외한 a는 상수이므로 0이된다.
다른 함수도 마찬가지
더해보자..이랬을 때 야코비안 메트릭스를 구하면 (왜 더하는지 모르겠지만 이러면 인생이 편해진데)
더하면 무조건 이거임
곱해보자 그러면 이거임
