AlexNet과 VGGNet (feat. CNN)

Computer Vision이란?

---

• 전체 지식 중 75%는 눈을  통해 들어온다
• 카메라를 통해 어떤 물체를 포착하면 GPU에 올리고 알고리즘을 사용해 정보를 뽑아냄
• Inverse Rendering 과정
• Visual perception의 종류
  • color perception
  • motion perception
  • 3D perception
  • semantic-level perception
  • emotion perception
  • visuomotor perception 등

 

Image Classification

---

1. 모든 분류 문제는 k-NN 알고리즘으로 해결할 수 있다

• k Nearest Neighors 알고리즘: 주변의 가장 가까운 K개의 데이터를 보고 데이터가 속할 그룹을 판단하는 알고리즘
• 하지만 세상의 모든 데이터를 다 가지고 있을 수는 없다,, (시스템 복잡도..메모리...시간 문제..)

 

2. CNN을 사용해서 방대한 데이터를 제한된 복잡도의 시스템에 압축해서 넣기

• single fully connected layer의 문제
  • Layer가 한 층이라 단순해서 평균 이미지 이외에는 표현이 안됨
  • single fully connected layer의 문제: 테스트할 때 조금이라도 영상/이미지의 위치나 크기가 안맞으면 정확도 떨어짐
  • 모든 픽셀마다 parameter 필요 (엄청나게 많음)

 

• locally connected neural networks
  • 영역을 나눠 특정 노드가 담당한 그 영역의 이미지에 대한 패턴만을 찾아 필요한 parameter가 엄청 줄어듦
  • 따라서 Overfitting 방지할 수 있음

빨, 초, 노, 파로 영역을 나누고 특정 영역을 담당하는 노드만을 연결. output layer는 영역별로 찾아낸 패턴을 조합하여 결과를 출력

 

• 따라서 CNN은 많은 CV task의 backbone 네트워크로 쓰인다 (image recognition, object detection, segmentation)

 

CNN을 사용한 Image Classification의 역사

---

AlexNet

• LeNet-5 (1998)
  • 아주 간단한 CNN 구조 
  • 구조: Conv-Pool-Conv-Pool-FC-FC
  • 우편번호 인식에 크게 성공

 

• LeNet-5 발전 버전
  • 7 hidden layers
  • ImageNet으로 학습 (1.2millions 데이터)
  • ReLU, dropout 사용

 

• AlexNet의 구조
  
  • Convolution layer의 output tensor 사이즈
    • input image size=I, K*K Conv, stride=S, padding=P일때

5 convolution layers, 3 fully-connected layers, 100-way softmax

 

출처 naver boostcamp ai tech

지금은 사라진 것들...

1. Local Response Normalization: 측면 억제를 위한 Layer
   • 큰 양수의 수가 Conv Layer or MaxPooling시 들어오게 된다면 하나의 큰 값이 주변에 값에 영향을 미치기 때문에 사용 => 지금은 batch normalization 사용
2. 큰 filter size (11x11 convolution layer)

 

• CNN의 Receptive field(수용영역)
  • receptive field 안에서는 중앙에 있는 pixel 일수록 더 중요
  •  kernel size가 늘어나면 늘어날 수록 CNN이 볼 수 있는 영역이 늘어남
  • stride=1인 K*K conv, P*P pooling layer가 있다고 하면 pooling layer의 각 단위 값=(P+K-1)*(P+K-1)

 

 

VGGNet

• AlexNet보다 더 깊고 간단한 architecture을 가졌지만 더 높은 성능과 일반화 기능을 가짐
• Input: 224*224 (RGB 이미지), AlexNet과 같음
• 가장 큰 특징: stride=1인 3x3 convolution filter과 2x2 max pooling 계산
  • 몇개의 큰 conv filter을 쓰는 것보다 여러개의 3x3 conv filter 쓰는 것이 parameter 개수도 적고 더 깊고 receptive field를 크게 유지시킴
• 그외, 3 FC layers, LRN 미사용, ReLU 사용의 특징이 있음