배치 정규화 (1) 썸네일형 리스트형 가중치 초기화와 배치 정규화 가중치 초기화와 배치 정규화 가중치 초기화 신경망 성능에 큰 영향을 줌 가중치 값이 치우치면 활성화 함수의 결과도 치우쳐서 표현할 수 있는 신경망 수가 적어짐 모델의 활성화 값이 골고루 분포되도록 하는 것이 중요 선형 함수 가중치 초기화 제로 초기화 가중치를 0으로 초기화 각 레이어의 가중치 분포가 중앙에만 몰려있어 학습 불가능 정규분포 초기화 제로 초기화보다는 분포가 퍼져있으나 여전히 중앙에 치우쳐 있음 균일분포 초기화 제로 초기화보다는 분포가 퍼져있으나 여전히 중앙에 치우쳐 있음 활성화 값이 균일하지 않아 역전파로 전해지는 기울기 값이 사라질 수 있음 xavier 정규분포 초기화 은닉층 노드 수가 n이면 표준편차는 1/sqrt(n)인 분포로 초기화 비교적 분포도 고르고 레이어마다 표현이 잘 되 더 많.. 이전 1 다음
