💪 Today I Learned
Deep Learning
-
Neural network에서 과적합을 방지하는 방법
- Drop out : 연결된 노드 몇 개 삭제. 즉, 가중치를 없애 학습이 잘 안되도록 방해
- Weight decay : 가중치 갱신 시 0과 1 사이 임의의 값을 곱해 갱신
-
DNN back propagation 시 발생하는 문제
- Vanishing gradient : 역전파할수록 도함수(기울기) 값이 줄어들기 때문에 에러가 앞쪽으로 전달되지 않는 현상
ReLU등의 성능 좋은 활성화 함수 선택 필요
-
Momentum
- local minimum 에 빠지는 문제 해결
🏃 한마디
딥러닝은 수업 들을 때마다 항상 새롭다.