인공 신경망의 최적화 - 미분(Differentiation)

추석 연휴가 다 지나갔으니 다시 겅부를 시작해보쟈ㅠ

 

오늘은 미분에 대해 공부해볼 예정이다.

미분은 인공신경망을 최적화하는데 가장 핵심 요소이기 때문에 반드시 알아야 한다고 한다.

 

기울기의 정의?

• 직선의 가파른 정도 (두 점을 알고 있어야 기울기를 구할 수 있음)
• y = ax + b => a : 기울기
• 접선의 기울기를 알기 위해서 하나의 점에서 가까운 점들을 하나씩 넣어서 기울기를 구해서 극한으로 보냄
• 왼쪽 그림에서 초록색으로 나타낸 부분은 '평균 기울기'라고 부르며,
• 오른쪽 그림에서 표시된 접선의 기울기는 '순간 기울기'라고 부름

 

 

도함수와 미분 계수

• x와 y에 대한 도함수
• 도함수는 순간 기울기를 의미함

 

미분법 종류

• 곱의 미분법

• 합성 함수의 미분법

 

연쇄 법칙(Chain Rule)

• 인공 신경망은 기본적으로 합성함수의 연산임
• 미분 가능한 함수들의 합성함수를 미분하는 법칙

 

그레디언트(Gradient)

• 함수 f를 변수 별로 한 번 미분한 것들을 모은 벡터

 

 

 

 

내용에 문제가 있으면 댓글로 알려주세요!

 

출처 : 인프런 - 실전 인공지능으로 이어지는 딥러닝 개념 잡기(딥러닝 호형)