우잉's Development

1. local minima 이란? 왼쪽 그래프가 산이라 생각해봅시다. 빨색 점을 향해 내려가고 있다고 생각해봅시다. 어디까지 내려왔다고 생각 할 수 있습니까? 다음 길은 올라가는 길이므로 다 내려 왔다고 착각을 할 수있습니다. 즉, local minimum에 빠져 global minimum을 찾기 힘들어지는 문제를 local minima라 합니다. 그리고 기존에 기계학습 (machine learning)이 잘안되거나 성능이 안나오는 이유는 학습 중에 local minimum에 빠졌기 때문이라는게 일반적인 상식입니다. 2. local minima를 피하기 위한 방법 Momentum방법 Momentum은 물리적 개념입니다. 질량과 속도의 곱을 나타내는데, DNN모델에서는 질량이란 개념을 도입하지 않으니 속..