인프런 커뮤니티 질문&답변

올려주신 3개의 질문중 Decision Tree Node와 Feature Importance 모두 많은 설명이 필요하여 쉽게 설명드리는 정리에 시간이 소모될 것 같습니다.

최대한 신속하게 답변해 드릴터이니 잠시만 기다려 주시기 바랍니다.

네, 감사합니다. 

자세한 답변 다시 감사드립니다.

사이킷런의 feature importance는 각 feature별로 개별 노드의 Gini importance를 합산하여 계수화 한 것입니다.

feature별 Gini importance는 각 feature들이 사용된 트리 노드에서의 지니계수와 해당 노드의 가중치가 부여된 데이터 건수를 곱한 값을 구한 뒤 이 노드의 자식 노드인 왼쪽과 오른쪽 노드 각각의 지니계수와 가중치 부여한 데이터 건수를 곱한것을 마이너스 하여 계산합니다.  

아래는 이를 Pseudo 코드로 만든 것입니다.

해당 자료는 https://towardsdatascience.com/the-mathematics-of-decision-trees-random-forest-and-feature-importance-in-scikit-learn-and-spark-f2861df67e3 를 참조하였고, Pseudo 코드는 사이킷런의 tree 소스 코드를 참조하였습니다. 


#해당노드가 마지막 노드가 아닐동안 루프 수행.
while node != end_node:
    # 만일 해당 노드가 리프노드가 아니면 해당 노드의 왼쪽 자식, 오른쪽 자식 노드를 구함
    if node.left_child != _TREE_LEAF:
        # ... and node.right_child != _TREE_LEAF:
        left = &nodes[node.left_child]
        right = &nodes[node.right_child]
       
        '''해당 노드가 특정 feature가 사용되었을 경우 지니계수(여기서는 impurity)와 해당 노드의 가중치가 부여된 데이터
        건수를 곱한 값에서 왼쪽과 오른쪽 노드 각각의 지니계수와 가중치 부여 데이터 건수를 곱한것을 마이너스한 값들을 해당          feature가  소속된 모든 노드에서 합산 적용 '''
        importance_data[node.feature] += (
            node.weighted_n_node_samples * node.impurity -
            left.weighted_n_node_samples * left.impurity -
            right.weighted_n_node_samples * right.impurity)
   

    #다음 노드로 이동.
    node += 1

# 루드 노드의 가중치 부여 데이터 건수로 나눔.
importance_data /= nodes[0].weighted_n_node_samples