kullback leibler divergence (1) 썸네일형 리스트형 정보이론(Information Content) 정보이론(Information Content) 추상적인 '정보'라는 개념을 정량화하고 정보의 저장과 통신을 연구하는 분야 정보를 정량적으로 표현하기 위한 세 가지 조건 1. 일어날 가능성이 높은 사건은 정보량이 낮고, 반드시 일어나는 사건은 정보가 없는 것이나 마찬가지다. 2. 일어날 가능성이 낮은 사건은 정보량이 높다. 3. 두 개의 독립적인 사건이 있을 때 전체 정보량은 각각의 정보량을 더한 것과 같다. 이러한 조건에 따라 아래 예제를 살펴보자 어떤 사람이 주머니에서 공을 꺼내는 과정을 반복하는 실험을 한다. 1. 각각의 주머니에서 공을 꺼낼 때 얻을 수 있는 정보량: 왼쪽 > 오른쪽 2. 파란색 공 999개와 빨간색 공 1개가 들어있는 주머니가 있을 때, 공을 하나 꺼내고 다시 넣는 실험을 반복한다.. 이전 1 다음
