반응형
250x250
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- AVG
- 시험데이터
- PYTHON
- 미니배치
- PyQt5
- 데이터베이스
- next.js 튜토리얼
- 제약조건
- sqlite3
- 렐루함수
- Next.js
- 수치미분
- 오차제곱합
- 평균
- 신경망
- max
- total
- 학습 구현
- sum
- sigmoid
- COUNT
- 밑바닥부터 시작하는 딥러닝
- 교차엔트로피오차
- 최댓값
- join
- MIN
- Depthwise Convolution
- Depthwise Separagle Convolution
- Pointwise Convolution
- 합계
Archives
- Today
- Total
목록local minimum (1)
우잉's Development
Local minima
1. local minima 이란? 왼쪽 그래프가 산이라 생각해봅시다. 빨색 점을 향해 내려가고 있다고 생각해봅시다. 어디까지 내려왔다고 생각 할 수 있습니까? 다음 길은 올라가는 길이므로 다 내려 왔다고 착각을 할 수있습니다. 즉, local minimum에 빠져 global minimum을 찾기 힘들어지는 문제를 local minima라 합니다. 그리고 기존에 기계학습 (machine learning)이 잘안되거나 성능이 안나오는 이유는 학습 중에 local minimum에 빠졌기 때문이라는게 일반적인 상식입니다. 2. local minima를 피하기 위한 방법 Momentum방법 Momentum은 물리적 개념입니다. 질량과 속도의 곱을 나타내는데, DNN모델에서는 질량이란 개념을 도입하지 않으니 속..
Deep learning/용어 정리
2022. 1. 18. 16:47