미적분 - 의치대 생기부 세특 주제

728x90

반응형

미분과 인공지능

도서 추천:

  딥러닝을 위한 수학

   신경망 수학 기초부터 역전파와 경사하강법까지

로널드 크노이젤 저

1. 경사하강법이란?

경사하강법은 함수의 최솟값이 되는 점을 구하고자 할 때 사용되는 방법이다. 

경사하강법을 이차함수에 활용해서 설명해 본다.

위 그림의 빨간공의 입장에서는 그래프 전체의 개형을 전혀 알 수 없다. 산의 지형을 전혀 모른채 길을 걸어가고 있는 등산객과 유사하다고 할 수 있다. 이 곳을 최솟값이 되는 점으로 이동하려면 기울기가 낮아지는 쪽으로 공을 조금씩 이동해보는 것이 하나의 방법일 수 있다. 

현재 빨간공이 있는 점에서의 그래프 기울기가 +2라고 가정하면 기울기가 양수이므로 음의 방향으로 공을 옮긴다면 기울기가 작아지는 방향으로 조금씩 공을 이동시킬 수 있다. 

즉, 미적분 시간에 배운 미분계수에 음의 방향으로 x를 움직이는 것이다. 이를 수식으로 나타내면 다음과 같다. 

초기 위치의 x좌표를 x0라고 하고, 새로운 x좌표를 x1이라고 하면

 

2. 인공지능에서의 경사하강법 사용

인공지능을 개발한다는 것은, 결국 비용함수의 최솟값을 찾는 과정이다.

예를 들어, 신경망이 있다고 하면 입력층 (input)에 x1, x2, x3, x4가 들어가면, 각각에 weight가 곱해져서 y가 된다. 수식으로 나타내면, 

y=w1×x1+w2×x2+w3×x3+w4×x4

y는 주어진 input과 weight를 바탕으로 예측한 값이 된다.

이 예측값과 정답의 차이를 나타내는 함수가 최소가 되는 weight를 찾아내는 것이 중요하다. 

바로 이때 복잡한 개형의 함수가 주어졌을 때 최소가 되는 점을 찾는 방법이 필요한데, 여기에 사용되는 것이 바로 경사하강법이다. 

 

 

 

 

 

출처: 의치약대 입시 컨설팅, 닥터스투비
[미적분 세특/의대 생기부 및 치대 생기부, .. : 네이버블로그 (naver.com)

[미적분 세특/의대 생기부 및 치대 생기부, 약대생기부] 미분과 인공지능