Neural network

     

신경망을 수식으로 분해한 것

• softmax 연산: 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산

- 분류 문제를 풀 때 선형모델과 소프트맥스 함수를 결합하여 에측

- softmax 함수를 통해 R^p에 있는 벡터를 확률벡터로 변환 

- 그러나 추론을 할 때는 one-hot 벡터로 최대값을 가진 주소만 1로 출력하는 연산을 사용 (softmax는 학습에 사용)

---

- 신경망: 선형모델과 활성함수를 합성한 함수

잠재벡터 z=(z1,...z,q)의 각 노드에 활성함수 ρ가 개별적으로 작용

• 활성함수: 비선형 함수 ( sigmoid, tanh, ReLU), ReLU가 딥러닝에 제일 많이 쓰임

2-layers 신경망

multi-layer 퍼셉트론(MLP)

- 층을 여러개 쌓는 이유: 더 적은 노드의 개수로 목적함수를 근사할 수 있어 효율적 학습이 가능

---

• 역전파 알고리즘: 합성함수의 미분법인 연쇄법칙 기반 자동 미분을 사용

역전파 알고리즘 진행 방식

  ex) z=(x+y)^2 , w=x+y 

간단한 예제

 

빨간색: 역전파