인프런 커뮤니티 질문&답변

안녕하십니까,

1. n_estimators값 만큼의 반복 수행을 하며 decision tree의 가중치를 수정해나가는 방식으로 이해하였는데 맞는지 궁금합니다

=> 네, 맞습니다. 정확히는 decision tree와 유사한 방식의 weak tree의 가중치를 수정해 나가는 방식입니다.

2. 그리고 xgb가 왜 앙상블 기법인지에 대해서도 약간 이해가 잘 안되서 설명 부탁드립니다

=> XGBoost는 GBM 방식으로 동작합니다. 1개의 Tree가 아니라, 여러개의 Tree를 순차적으로 결합하여 만들어 집니다. 그러니까 1개의 tree기반으로 1번 모델이 만들어졌으면 2번째 tree에서는 1번 모델의 오류를 줄이도록 Gradient 값을 재 계산하여 2번 모델을 만들어서 1번 모델과 2번 모델을 결합하여 예측한 뒤 이 모델의 예측값이 줄이는 방향으로 3번째 tree에서 3번 모델을 만든 다음에 1번모델 + 2번 모델 + 3번 모델 을 결합하여 예측하는 방식으로 순차적으로 진행하는 방식이 GBM이며, 여러 모델들이 결합하여 학습/예측되므로 앙상블 방식입니다

감사합니다.