DL_Basic 1강. Historical Review

딥러닝이 머신러닝의 전부는 아님

 

• 딥 러닝의 주요 구성 요소
  - 모델이 학습할 수 있는 데이터
  - 데이터를 변환하는 방법
  - 모형의 불량을 수치화하는 손실 함수
  - 손실을 최소화하기 위해 매개변수를 조정하는 알고리즘

 

• Data - classification, segmantic segmentation, detection, pose estimation, visual QnA 등
• Loss 함수 - 회귀(regression), 분류(classification), 확률(probabilistic)
• loss function을 단순히 줄이는 것이 목표가 아님
• 한번도 보지 못한 데이터, 실환경에서 잘 이루어지는 것이 목표

 

• Historical Review

1. 2012 - AlexNet: 224*224의 이미지를 처리, 기계학습의 판도를 바꿈
2. 2013 - DQN: 구글 딥마인드가 있게한..
3. 2014 - Encoder/Decorder: 구글 번역의 방법론, 단어의 연속이 주어졌을 때 번역해주는
4. 2014 - Adam Optimizer: 아담을 쓰는 이유? 결과가 잘나와서... 왠만하면 잘됨
5. 2015 - Generative Adversarial Network(GAN): 딥러닝에서 아주 중요
6. 2015 - Residual Networks: network를 여러개 쌓아도 결과가 잘 나온다는 것을 보여줌
7. 2017- Transformer: 다른 기존의 방법론들 보완
8. 2018 - BERT: 엄청나게 큰 말뭉치를 사용하여 pre train한 뒤 사용하려는 데이터에 fine tuning
9. 2019 - GPT-3: BERT의 끝판왕, parameter이 1750억개라는 것이 장점
10. 2020 - SimCLR: 한정된 학습 데이터 외의 라벨을 모르는 다양한 이미지를 학습에 활용 (이미지 분류)