인프런 커뮤니티 질문&답변
작성한 질문수
XGboost와 LightGBM Feature importance 관련 질문드립니다.
작성
·
558
0
안녕하세요.
우선 좋은 강의를 제공해주셔서 감사의 인사를 먼저드립니다.
다름이 아니라 XGboost와 LightGBM관련하여 강의를 듣던 중
scikitlearn wrapper의 Feature importance에서 XGboost로 실행을 한 경우에는 f1이 가장 중요한 속성으로 선정이 된 반면,
LightGBM의 경우에는 f21이 가장 중요한 속성으로 선정이 되었는데요..
어떤 원인으로 다른 결과가 나오는 건지, 만약 가장 중요하게 선정된 Feature가 다른 경우에는 어떤 것을 기준으로 잡는 것이 옳은 것인지 설명을 부탁드리겠습니다.
부족한 부분이 많아 너무 뜬금없는 질의를 드리는 건 아닌지 모르겠습니다.
그럼 답변 부탁드리겠습니다. 감사합니다.
답변 2
0
0
안녕하십니까,
xgboost, lightgbm 모두가 gbm 기반이지만, 아무래도 구현 자체는 달라서 feature importance가 서로 동일하지 않은것 같습니다. 또한 초기화 파라미터도 다르고, depth wise인 xgboost와 달리 lightgbm은 leaf wise로 tree를 생성하는등 어느정도 차이가 있어서 그런것 같습니다.
feature importance는 참조하는 정도로 보셨으면 좋을 것 같습니다. 알고리즘 별로 처리하는 로직이 다르기 때문에 굳이 특정 알고리즘이 바라보는 feature importance가 다른 알고리즘과 같아야 할 필요는 없습니다. 특정 알고리즘은 이렇게 feature importance를 감안하고 학습하는가 정도로 생각해 주시면 될 것 같습니다. 또한 하이퍼 파라미터값이 달라지면 feature importance가 최초의 feature importance에서 변할 수 있습니다.
훌륭한 질문 감사합니다.