Differences

This shows you the differences between two versions of the page.

--- 머신러닝:의사결정트리 [2025/10/03 12:28] – created masteraccount
+++ 머신러닝:의사결정트리 [2025/10/03 13:01] (current) – masteraccount
@@ Line 18: / Line 18: @@
 ====주요단어====
-  - 노드 : 데이터를 나누는 분기점(질문 지점) = 질문 하나하나
+  * [[머신러닝:노드]] : 데이터를 나누는 분기점(질문 지점) = 질문 하나하나
-노드의 종류 :
+     * 노드의 종류
-루트노드, 중간 노드, 리프 노드가 있음.
+        * 루트 노드 (Root Node): 나무의 맨 꼭대기에 있는 첫 번째 질문 지점
-정보이론
+        * 중간 노드 (Internal Node): 루트와 리프 사이의 모든 중간 질문 지점들
-정보이득
+        * 리프 노드 (Leaf Node): 나무의 맨 끝에 달려있는 **최종 결론(정답)**
-엔트로피
+\\
+  * [[머신러닝:엔트로피]] (Entropy): 불확실성(uncertainty) 또는 혼잡도를 수치로 나타낸 값.
+      * 정보이론에서 유래되어 값 높을수록 데이터 섞여 예측 어렵고 0에 가까울수록 한 종류의 데이터만 있어 예측 쉽다는 의미.
+\\
+  * 지니계수 (Gini Index) :  엔트로피와 마찬가지로 불확실성을 측정하는 지표.
+      * 엔트로피보다 계산 속도가 조금 더 빨라 자주 사용
+      * 엔트로피와 마찬가지로 값이 높을수록 불확실하고, 0에 가까울수록 확실
+\\
+  * 정보 이득 (Information Gain) : '좋은 질문'이란 불확실성을 가장 많이 줄여주는 질문이며 이 불확실성의 감소량을 정보 이득이라고 함.\\
+\\
 질문 후 정보이득 = 진문 전 엔트로피 - 질문 후 엔트로피 ==> gain(T,X) = Entropy(T)-Entropy(T,X)
 Entropy = 시그마^m_i=1 -pi log2 pi
 Entorpy = 시그마_c=X P(c)E(c)
-지니계수
 다중분류