우잉's Development

4.3 수치 미분 4.3.1 미분 여기서 말하는 미분은 고등학교 시절 배운 순간 변화율을 의미 합니다. 순간 변화율은 다음과 같습니다. (전방차분) \( \frac{\mathrm{d}f(x) }{\mathrm{d}x} = \displaystyle \lim_{h \to 0} {{f(x+h) - f(x)} \over {h}}\) \(h\)가 한없이 0에 가깝게 한다는 의미를 \(\displaystyle \lim_{h \to0}\)로 표현합니다. 파이썬으로 구현하겠습니다. 왼쪽 구현은 잘못된 구현입니다. 여기서 개선해야 할 점이 2가지가 있습니다. 1) 반올림 오차 (rounding error) : 10e-50은 0.000...1에서 0이 49개 있다는 의미입니다. 가수가 10이므로 50에서 1개가 빠집니다...

3.4 3층 신경망 구현하기 3.4.3 구현 정리 init_network() 함수는 가중치와 편향을 초기화 하고 이들을 딕셔너리 변수인 network에 저장합니다. 그리고 forward() 함수는 입력신호를 출력으로 변환하는 처리과정을 모두 구현합니다. 3.5 출력층 설계하기 기계학습 문제 ① 분류 : 데이터가 어느 클래스에 속하는지 문제 ex) 항등함수 ② 회귀 : 입력데이터에서 (연속적인) 수치를 예측하는 문제 ex) 소프트맥스 함수 신경망은 분류와 회귀 문제 모두 이용할 수 있습니다. 다만 어떤 문제냐에 따라 출력층에 사용하는 활성화 함수가 달라집니다. 3.5.1 항등함수와 소프트맥스 함수 구현하기 항등함수는 입력을 그대로 출력합니다. 즉, 입력과 출력이 항상 같습니다. 한편, 분류에서 사용하는 소..

저번 게시글에서 배운 내용은 퍼셉트론입니다. 퍼셉트론의 장점은 이론상 복잡한 함수표현이 가능하고 단점은 가중치를 인간이 수동적으로 해야한다는 겁니다. 이 단점을 보완하기 위해 신경망이 나왔습니다. 3.1 퍼셉트론에서 신경망으로 3.1.1 신경망의 예 은닉층은 입력층과 출력층과 다르게 눈에 보이지 않습니다. 입력층: 0층, 은닉층: 1층, 출력층: 2층 3.1.2 퍼셉트론 복습 \(y = \begin{cases} 0 & b+w_1x_1+w_2x_2 \le \theta \\ 1 & b+w_1x_1+w_2x_2 > \theta \end{cases} \) \(x_1\), \(x_2\) : 입력신호 \(y\) : 출력신호 \(w_1\), \(w_2\) : 각 신호의가중치 \(b\) : 편향 가중치가 b고 입력이 ..