우잉's Development

1. local minima 이란? 왼쪽 그래프가 산이라 생각해봅시다. 빨색 점을 향해 내려가고 있다고 생각해봅시다. 어디까지 내려왔다고 생각 할 수 있습니까? 다음 길은 올라가는 길이므로 다 내려 왔다고 착각을 할 수있습니다. 즉, local minimum에 빠져 global minimum을 찾기 힘들어지는 문제를 local minima라 합니다. 그리고 기존에 기계학습 (machine learning)이 잘안되거나 성능이 안나오는 이유는 학습 중에 local minimum에 빠졌기 때문이라는게 일반적인 상식입니다. 2. local minima를 피하기 위한 방법 Momentum방법 Momentum은 물리적 개념입니다. 질량과 속도의 곱을 나타내는데, DNN모델에서는 질량이란 개념을 도입하지 않으니 속..

1. Logistic Classification : 분류 문제가 주어질 때 사용하고 특히 둘 중 하나를 선택하는 binary의 경우 사용 binary 한 문제의 경우 결과 값이 0 또는 1이면 충분하지만 선형 회귀 모델을 입력에 따라 예측값이 선형적으로 증가하므로 크게 나올 수 있다. 말로 설명하면 어려우므로 예를 들어보겠습니다. 예) 시간에 따른 시험 합격 or 불합격 예측 2, 3, 4시간 공부할 경우 FAIL 5, 6, 7시간 공부할 때 PASS 한다고 하자. 그럼 아래와 같은 그래프가 나온다. Y값이 0.5를 기준으로 오른쪽은 PASS, 왼쪽은 FAIL이 나올 것이다. 만약 5시간 공부하면 결과값으로 PASS가 나올 것이다. 이걸 다시 학습시키면 그래프는 어떤 변화가 있을까? 위 그림과 같이 그래..

1. Loss Function (손실함수) : 머신러닝 혹은 딥러닝 모델의 출력값과 사용자가 원하는 값의 오차를 의미 - 정답($y$)와 예측 ($\hat{y}$)을 입력 받아 실숫값 점수를 만드는데, 이 점수가 높을수록 모델이 안좋습니다. - 손실함수의 함수값이 최소화 되도록 하는 weight(가중치)와 편향(bias)를 찾는 것이 목표 2. 베르누이 분포 $f(Y=y_i;\pi )={\pi }^y(1-\pi {)}^{1-y}$ , $y\in \{0,1\}$ 만약 $Y$가 1이면 $f=1-\pi$이고 $Y$가 0이면 $f=\pi$이다. 관측값 $y$를 고정시키고 위 함수를 parameter $\pi$에 대한 함수로 사용한다면 이는 베르누이분포에 대한 가능도 함수가 된..

Linear interpolation(선형 보간법) : 두 점의 값이 주어졌을 때 그 사이에 위치한 값을 추정하기 위하여 직선거리에 따라 선형적으로 계산하는 방법 linear interpolation 이란 내분이랑 같은 개념이다. 그림과 같이 $x_1$과 $x_2$사이에 있는 $x$의 데이터값을 알고 싶을 때 선형 보간법을 사용하면 됩니다. $f(p)=\frac{d_2}{d_1+d_2}f(p_1)+\frac{d_1}{d_1+d_2}f(p_2)$ $\alpha =\frac{d_1}{d_1+d_2}$ 이고 $\beta =\frac{d_2}{d_1+d_2}$ 이므로 좀 더 단순화 하면 다음과 같다. $f(x)=\beta f(x_1)+\alpha f(x_2)$ Bilinear ..