categorical cross entropy vs sparse cross entropy

categorical cross entropy vs sparse cross entropy

둘 모두 분류문제에서 사용되는 loss function이다. 어떤 차이가 있을까?

categorical cross entropy

• 레이블이 원-핫 인코딩(one-hot encoding)으로 표현된 경우에 주로 사용
• 다중 클래스 분류에 사용
• 예측값은 확률 분포로 표현되며, 모델이 예측한 클래스의 확률이 정답 레이블에 가까울수록 손실이 작아짐

sparse cross entropy

• 레이블이 정수 형태로 표현되는 경우에 주로 사용
• 클래스가 많은 경우, 원-핫 인코딩을 사용하면 메모리를 많이 소모하게 되기 때문에 정수 형태로 레이블을 표현하게 되고 이 때 sparse cross entropy를 손실함수로 사용