overfitting

[인공지능] 딥러닝 Overfitting(오버피팅) 피하는 방법!

Avoiding overfitting 1. Dropout (2012, Geoffrey Hinton) : Training을 진행할 때 매 Batch 마다 Layer 단위로 일정 비율 만큼의 Neuron을 꺼뜨리는 방식이다 왼쪽이 Dropout을 사용하지 않은 이미지이고, 오른쪽이 Dropout을 60%(0.6)을 적용한 이미지이다. 꺼지는 위치는 랜덤이다 랜덤하게 Neuron을 꺼뜨려 학습을 방해함으로써 모델의 학습이 Training data에 편향되는 것(over fitting)을 막아주는 것이 핵심이다. 즉, 동일한 데이터를 매번 다른 모델을 학습시키는 효과를 발생시켜 일종의 Model ensemble 효과를 얻는 것이다 가중치 값이 큰 특정 Neuron의 영향력이 커져 다른 Neuron들의 학습 속도..