Carpe Diem Carpe Diem

미분 - sympy.diff() 경사상승법 / 경사하강법 미분값을 더하면 경사상승법이라고 하며 극대값의 위치를 구할 때 사용 미분값을 빼면 경사하강법이라고 하며 극소값의 위치를 구할 때 사용 경사하강법 알고리즘 var = init # var=x grad = gradient(var) # grad=f'(x) while (abs(grad) > eps ) : #컴퓨터로 계산할 때 미분값이 0이 되는 것은 불가능하므로 eps보다 작을 때 종료 var = var - lr * grad # lr은 업데이트 속도 조절 grad = gradient(var) 편미분 - sympy.abc() 각 변수 별로 편미분을 계산한 그레디언트 벡터를 이용하여 경사하강/상승법에 사용할 수 있다 그레디언트 벡터 ▽f(x,y)는 각 점 (x..

딥 러닝의 주요 구성 요소 - 모델이 학습할 수 있는 데이터 - 데이터를 변환하는 방법 - 모형의 불량을 수치화하는 손실 함수 - 손실을 최소화하기 위해 매개변수를 조정하는 알고리즘 Data - classification, segmantic segmentation, detection, pose estimation, visual QnA 등 Loss 함수 - 회귀(regression), 분류(classification), 확률(probabilistic) loss function을 단순히 줄이는 것이 목표가 아님 한번도 보지 못한 데이터, 실환경에서 잘 이루어지는 것이 목표 Historical Review 2012 - AlexNet: 224*224의 이미지를 처리, 기계학습의 판도를 바꿈 2013 - DQN:..

Subspace: 집합이 선형 결합에 갇혀있을 때 Dimension of Subspace: 기저벡터의 개수 Column Space of Matrix Rank of Matrix: rank A = dim Col A

span: 두 벡터가 움직일 수 있는대로 움직였을 때 그려지는 전체 영역 3차원 공간에서 벡터가 4개가 있으면 네번째 벡터는 나머지 세개의 벡터의 span에 반드시 포함됨 실용적 정의 v𝑗 ∈ Span {v1, v2, … , v𝑗−1} 를 만족하는 j가 하나라도 존재하면 선형 종속, 아니면 선형 독립 공식적 정의 trivial solution 외에 해가 하나라도 존재하면 선형독립 해가 trivial solution 밖에 없으면 선형종속 x1,......,xn이 모두 0이면 선형독립이고, 하나라도 0이 아니면 선형 종속이다. ex) 3*v1-v2+0*v3+2*v4+0*v5=0 → v4=-(3/2)v1+(1/2)v2 기하학적 의미 ex) x=[3,2,1]일때 따라서 x=[x1,x2,x3]=[5,5,0]이므로..

선형결합 예시 Span - 재료 벡터를 통해 만들어질 수 있는 모든 선형 결합의 집합 열 조합으로서의 행렬 곱셈 행 조합으로서의 행렬 곱셈 Sum of (Rank-1) Outer Products 행렬곱셈 응용되는 분야 - word2vec - Covariance matrix in multivariate Gaussian (다변량 가우스의 공분산 행렬) - Gram matrix in style transfer (style 전송의 그램 행렬)

항등 행렬 (Identity matrix) - 대각선이 1인 정사각형 행렬 역행렬 (Inverse matrix) - 정사각형 행렬, 행렬*역행렬=항등행렬 det A=ad-bc=0 즉, a:b=c:d이면 역행렬이 존재하지 않음 정사각형이 아닌 행렬의 경우 행렬*역행렬=항등행렬,역행렬*행렬=항등행렬 중 하나만 만족함 선형시스템 예시 답: life-span=-0.4(weight)+20(height)-20(is_smoking) -역행렬이 존재하지 않는 경우: ex. [[1,2][2,4]] -> 0*x+0*y=0 Ax=b는 해가 없거나 무수히 많음 mxn 행렬에서 mn인 경우: 해가 없음

벡터가 공간에서 한 점을 의미한다면 행렬은 여러 점들을 나타냄 행렬의 xij는 i번째 데이터의 j번째 변수의 값을 의미 벡터 공간에서 사용되는 연산자(operator) 행렬의 곱셈 (@) - 행렬 곱을 통해 벡터를 다른 차원의 공간으로 보낼 수 있다 - 행렬곱을 통해 패턴을 추출하고 데이터를 압축할 수 있다 행렬의 내적 (np.inner) 역행렬 (np.linalg.inv()) - 역행렬은 행과 열의 숫자가 같고 행렬식이 0이 아닌 경우에만 계산 가능 유사 역행렬 (np.linalg.pinv()) - 연립방정식의 해를 구할 수 있음 - 데이터를 선형모델(linear)로 해석하는 선형회귀식을 찾을 수 있음 선형회귀 분석

벡터 숫자를 원소로 가지는 list / array 공간에서의 한 점 원점으로부터의 상대적 위치 x=[1,7,2] x=np.array([1,7,2]) 2. 벡터의 Norm 원점에서부터의 거리 L1 노름: Robust 학습, Lasso 회귀 L2 노름: Laplace 근사, Ridge 회귀 두벡터 사이의 거리 내적: np.inner 함수 이용 - 머신러닝의 유사도 측정에 주로 사용 -내적은 x,y,z 좌표끼리 곱하기만 하면 됨