우잉's Development

4.3 수치 미분 4.3.1 미분 여기서 말하는 미분은 고등학교 시절 배운 순간 변화율을 의미 합니다. 순간 변화율은 다음과 같습니다. (전방차분) \( \frac{\mathrm{d}f(x) }{\mathrm{d}x} = \displaystyle \lim_{h \to 0} {{f(x+h) - f(x)} \over {h}}\) \(h\)가 한없이 0에 가깝게 한다는 의미를 \(\displaystyle \lim_{h \to0}\)로 표현합니다. 파이썬으로 구현하겠습니다. 왼쪽 구현은 잘못된 구현입니다. 여기서 개선해야 할 점이 2가지가 있습니다. 1) 반올림 오차 (rounding error) : 10e-50은 0.000...1에서 0이 49개 있다는 의미입니다. 가수가 10이므로 50에서 1개가 빠집니다...

학습 : 훈련 데이터로부터 가중치 매개변수의 최적 값을 자동으로 획득하는 것 4.1 데이터에서 학습한다. 데이터에서 학습한다는 것은 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 뜻 4.1.1 데이터 주도 학습 기계학습 : 데이터에서 답을 찾고 데이터에서 패턴을 발견하고 데이터로 이야기를 만드는 것 알고리즘을 밑바닥부터 설계하지 않고 주어진 데이터를 잘 활용해서 해결하는 방법으로 이미지에서 특징(feature)을 추출하고 그 특징의 패턴을 기계학습 기술로 학습하는 방법이 있습니다. 여기서 말하는 특징은 입력 데이터 (입력 이미지)에서 본질적인 데이터 (중요한 데이터)를 정확하게 추출할 수 있도록 설계된 변환기를 가리킵니다. 다만, 이미지를 벡터로 변환할 때 사용하는 특징은 여전히 사람이 설계한..

3.4 3층 신경망 구현하기 3.4.3 구현 정리 init_network() 함수는 가중치와 편향을 초기화 하고 이들을 딕셔너리 변수인 network에 저장합니다. 그리고 forward() 함수는 입력신호를 출력으로 변환하는 처리과정을 모두 구현합니다. 3.5 출력층 설계하기 기계학습 문제 ① 분류 : 데이터가 어느 클래스에 속하는지 문제 ex) 항등함수 ② 회귀 : 입력데이터에서 (연속적인) 수치를 예측하는 문제 ex) 소프트맥스 함수 신경망은 분류와 회귀 문제 모두 이용할 수 있습니다. 다만 어떤 문제냐에 따라 출력층에 사용하는 활성화 함수가 달라집니다. 3.5.1 항등함수와 소프트맥스 함수 구현하기 항등함수는 입력을 그대로 출력합니다. 즉, 입력과 출력이 항상 같습니다. 한편, 분류에서 사용하는 소..

저번 게시글에서 배운 내용은 퍼셉트론입니다. 퍼셉트론의 장점은 이론상 복잡한 함수표현이 가능하고 단점은 가중치를 인간이 수동적으로 해야한다는 겁니다. 이 단점을 보완하기 위해 신경망이 나왔습니다. 3.1 퍼셉트론에서 신경망으로 3.1.1 신경망의 예 은닉층은 입력층과 출력층과 다르게 눈에 보이지 않습니다. 입력층: 0층, 은닉층: 1층, 출력층: 2층 3.1.2 퍼셉트론 복습 \(y = \begin{cases} 0 & b+w_1x_1+w_2x_2 \le \theta \\ 1 & b+w_1x_1+w_2x_2 > \theta \end{cases} \) \(x_1\), \(x_2\) : 입력신호 \(y\) : 출력신호 \(w_1\), \(w_2\) : 각 신호의가중치 \(b\) : 편향 가중치가 b고 입력이 ..

2.1 퍼셉트론이란? Perceptron (퍼셉트론) : 신경망(딥러닝)의 기원이 되는 알고리즘 1 : 신호가 흐른다. / 0 : 신호가 흐르지 않는다 \(x_1\), \(x_2\) : 입력신호 \(y\) : 출력신호 \(w_1\), \(w_2\) : 가중치 ○ : 뉴런 또는 노드 -> 뉴런에서 보내온 신호의 총합이 정해진 한계인 임계값 (\(\theta\), 세타)를 넘어설 때만 1을 출력 \(y = \begin{cases} 0 & w_1x_1+w_2x_2 \le \theta \\ 1 & w_1x_1+w_2x_2 > \theta \end{cases} \) 2.2 단순한 논리회로 2.3 퍼셉트론 구현하기 2.3.1 간단히 구현하기 1) AND 구현하기 def AND(x1, x2): w1, w2, thet..