Carpe Diem Carpe Diem

3D가 중요한 이유? 우리가 3D 세상에 살고 있기 때문~ 3D의 활용 분야 AR/VR: 게임, 커머셜, 군사훈련 등 3D printing 의료분야, 화학분야(단백질 구조 3차원) 인간이 3d를 보는 방법 이미지는 3D 세계를 2D 공간에 투영한 것이다. 카메라는 3D 장면을 2D 이미지 평면에 투영하는 장치 = 투영된 두개의 2D 이미지로 3D를 만들어낼 수 있음 삼각측량법 (Triangulation)을 통해 2D 이미지를 3D로 만들 수 있다 3D 데이터 표현 방법 2D 이미지는 이차원 배열 구조로 각 픽셀의 RGB 값으로 표현된다 그렇다면 3D는...? Muliti-view images: 여러 각도에서 사진을 촬영 Volumetric: 2d 이미지와 가장 비슷한 표현방법 mesh: graph CNN..

음성, 이미지, 텍스트 모두 데이터의 표현 방식이 다르다 여러modality를 사용할때 fair하게 사용하면 무조건 좋을까? NO! 학습을 하게되면 쉬운 modality에 편향되기도 한다. 어려운 데이터는 학습하지 않는 문제 Multi-modal learning 종류 Matching: 서로 다른 형태의 데이터를 하나의 space로 보내서 매칭함 Translating: 하나의 데이터를 다른 형태의 데이터로 translate Referencing: 다른 형태의 데이터 참조 Multi-modal task: Vision & Text data Text embedding 문자는 머신러닝에서 사용하기 힘들다, word mapping이 필요 두개의 단어 사이의 관계가 일반화가 가능 예를 들어 man과 woman 단어가..

Conditional generative mode Generative model과 Conditional generative model Generative model: random sample을 생성 이미지 스타일 변환, 채색화 Super resolution (저해상도 -> 고해상도) 게임 테마 바꾸기 Conditional geterative model: 주어진 조건에서 random sample을 생성 저해상도 오디오 고해상도로 바꾸기 중국어 문장 영어 문장으로 번역하기 제목과 부제목만 주고 전체 기사 글 생성 GAN(Generative Adversarial Network) Latent variable model (GAN, Diffusion model) Maximum Likelihood Learning 훈..

Instance segmentation Segmantic segmantation + 각각의 물체 구분 가능(id 부여) Mask R-CNN RoIAlign이라는 새로운 Pooling layer 제안 (RoI Pooling 업그레이드 버전) Faster R-CNN + Mask branch (모든 클래스에 대한 mask를 생성하고 분류 결과에 따라 참조) YOLOACT real-time semantic segmatation 가능, one-stage mask의 프로토타입을 추출해서 사용 (mask를 합성해낼 수 있는 component를 생성해냄) 추후 mask로 합성될 수 있는 component 제공 component를 선형결합하여 다양한 mask 생성 (모든 클래스 x) YoloactEdge YOLOACT를..

CNN Visualization이란? CNN은 블랙박스 방식이다 결과는 인간과 유사하게 또는 원하는대로 도출할 수 있지만 무엇을 근거로 그러한 결과가 나왔는지 알 수 없다 1. Feature analysis (모델의 특징 분석) Embedding Feature 분석 방법 (High Layer 해석) Nearest neighbors(NN) in feature space 단순한 픽셀 비교가 아니라 컨셉을 이해해서 물체의 위치변화에도 강함 query image와 비슷한 이미지를 DB에서 찾아서 나열하면 의미론적으로 유사한 이미지들끼리 모이게 됨 특징과 유사한 이미지들을 묶어서 return 전체적인 이미지 파악은 어려움 Dimensionality reduction 3차원 이상의 고차원의 분포를 저차원으로 차원축..

Interative을 사용하는 이유? 정적 시각화에는 단점이 있다. 예를 들어 Feature가 10개 있다면 각각의 관계를 살펴보는데 45개의 plot이 필요하다는 것이다 이것은 공간적 낭비가 크다 사용자마다 원하는 인사이트가 다르기 때문에 원하는 정보를 압축해서 담으려면 정적시각화가 나음 Interative Viz 라이브러리 대표적인 라이브러리 3개: Plotly , Bokeh, Altair Matplotlib 인터렉티브 제공 주피터나 local에서만 실행할 수 있어서 비추! Plotly (추천!) 인터랙티브 시각화에 가장 많이 사용됨 python 뿐만아니라 R, JS에서도 제공 예시 + 문서화가 잘되어 있음, 다양한 시각화 기능도 제공 Plotly Express plotly를 seaborn과 유사하게..

Missingno 결측치를 체크하는 시각화 라이브러리 빠르게 결측치의 분포 확인하고 싶을 때 pip install missingno import missingno as msno titanic = sns.load_dataset('titanic') msno.matrix(titanic) #msno.bar(titanic) bar형태로 출력 Treemap 계층적 데이터를 직사각형을 사용하여 포함 관계를 표현 사각형을 분할하는 타일링 알고리즘에 따라 형태가 다양해짐 큰 사각형을 분할하여 전체를 나타내는 모자이크 플롯과 유사 pip install squarify 또는 Plotly의 treemap import squarify values = [100, 200, 300, 400] # 각 사각형 넓이 (비율) label ..

Object detection Semantic segmentation: 객체 종류만 구분 Instance segmentation과 Panoptic segmentation: 각각의 객체도 서로 구분 가능 (P_class, x_min, y_min, x_max, y_max) : Classification + Box loacalization 자율주행, OCR 기술에 사용됨 Two-stage와 Single-stage로 구분됨 Two-stage detector 초기의 방법들 Gradient-based detector: 이미지/영상에서 각도에 따라 경계선 따서 객체 탐지 Selective search Over-segmentation: 영상을 비슷한 색끼리 작게 분할 작게 분할된 영역들을 비슷한 색/ gradient끼..