엔트로피 (Entropy)

정보이론(Information Theory)의 핵심개념으로, 불확실성(Uncertainty)의 양을 측정하는 지표.

어떤 데이터 집합이 얼마나 예측하기 어려운가(혼란스러운가)를 숫자로 나타낸 것.

• 엔트로피가 높다 = 데이터가 여러 종류로 마구 섞여 있어, 다음에 나올 것을 예측하기 어렵다. (높은 불확실성, 무질서)
  
• 엔트로피가 낮다 = 엔트로피가 낮다: 데이터가 대부분 한 종류로 되어 있어, 다음에 나올 것을 예측하기 쉽다. (낮은 불확실성, 질서)

트럼프카드 52장짜리가 섞여있을떄,
카드가 모두 달라서 뭐 나올지 모름 최대 엔트로피
카드가 모두 똑같아서 뭐 나올지 알면 최소 엔트로피 = 0

$ \Large Entropy(S) = \sum_{i=1}^{c} -p_i \log_2(p_i) $

S : 엔트로피를 계산하려는 대상이 되는 전체 데이터 집합 (시스템)
c : 데이터 집합 S 안에 들어있는 고유한 클래스(종류)의 총 개수
i: 각 클래스를 하나씩 가리키기 위한 순번
pᵢ (p의 i번째): i번째 클래스가 데이터 집합 S 안에서 나타날 확률 (또는 차지하는 비율)
(i번째 클래스 데이터 수 / 전체 데이터 수 로 계산)

사과6개와 바나나2개, 총 8개의 과일이 담긴 바구니 (S)가 있다고 가정.

변수정리

• S: 과일 8개가 담긴 바구니 전체
• c: 과일의 종류는 사과, 바나나 총 2가지
• i: 클래스를 가리키는 순번 (1: 사과, 2: 바나나)
• p,,i,,: 각 클래스의 확률
  • p,,1,, (사과일 확률): 8개 중 6개이므로 6/8 = 0.75
  • p,,2,, (바나나일 확률): 8개 중 2개이므로 2/8 = 0.25

계산

$ Entropy(S) = (-p,,사과,, log,,2,,(p,,사과,,)) + (-p,,바나나,, log,,2,,(p,,바나나,,)) $
$ Entropy(S) = (-0.75 × log,,2,,(0.75)) + (-0.25 × log,,2,,(0.25)) $
$ Entropy(S) = (-0.75 × -0.415) + (-0.25 × -2) $
$ Entropy(S) = 0.311 + 0.5 $
$ Entropy(S) = 0.811 $