TNT 1주차 스터디 (2)

1. Batch normalization https://www.youtube.com/watch?v=nUUqwaxLnWs Andrew Ng 교수님 설명 내용을 요약해보면 검은 고양이 사진만으로 train 시킨다고 할 때 test에서 갈색 고양이를 목격한다면 대응하기가 쉽지 않을 것이다. 이를 공변량 변화 (covariate shift)이라고 한다. 이럴 때 생기는 문제를 batch normalization은 안정화시킨다. Normalization은 평균과, 분산을 일정하게 조절하다보니 앞 부분의 NN이 달라지더라도 뒷 부분의 NN이 크게 변화되지 않아 부담을 줄여준다. 그리고 이를 통해 빠르게 훈련을 시킬 수 있다. 또한 regularization effect도 있어 overfitting을 방지하기도 좋다..

2021.09.09