DATA/딥러닝2 [딥러닝] - 3. Cost / Gradient Descent 1. Cost (loss) foward pass의 경우 위에 그림과 같이, 가중치와 bias을 모두 더해 activation function을 이용하여 output을 산출한다. 하지만 더 정확한 예측을 위해서는 가중치와 bias, 즉 파라미터 값을 업데이트를 진행해야한다. 그러기 위해서 가장 좋은 방법은 무엇일까? 바로 실제 정답인 (target) y와 예측값 output $\hat{y}$ 와의 차이를 비교하는 것이다. 즉, 값의 차이인 오차가 작아질수록 성능이 좋아진다는 의미이다. 하나의 데이터에 대해서 cost를 구할 때는 $(\hat{y}-y)^2$ 으로 구하게 된다. 딥러닝의 경우 모든 데이터의 오차 값을 더한 후 평균을 산출하게 되며 이것을 mean squared error라고 부른다. 참고로 .. 2023. 10. 12. [딥러닝] - 1. Deep Neural Network - Perceptron 오늘은 딥러닝의 시작, 퍼셉트론에 대해서 알아보자. 1. Perceptron (퍼셉트론) 퍼셉트론은 신경망의 기원이 되는 알고리즘이며, 인간의 신경망을 빗대어 표현하였다. 퍼셉트론의 가장 특징은 다수의 신호를 입력받아 하나의 신호로 출력한다. 이때 그림과 같이 가중치를 부여하게 되고 이를 다 더하게 된다. 이때 가중치의 경우 input data의 중요한 순으로 더 큰 값을 부여하게 된다. 퍼셉트론의 wegithed sum은 0과 1사이의 값이 되며 이때 임계값을 넘어서면 1을 출력하고 그렇지 않으면 0을 출력하게 된다. 식을 정리하게 되면 다음과 같다. $\hat{y}\ =\ \sigma (z)=\sigma (w_1x_1+w_2x_2+...+w_kx_k+b)$^y = σ(z)=σ(w1.. 2023. 10. 11. 이전 1 다음
