spark_xgboost_lightgbm 강의부분 관련

스파크 머신러닝 완벽 가이드 - Part 1

Spark에서 LightGBM 학습 및 예측 실습

작성

375

수정됨

안녕하세요. 강사님,

수업을 잘 듣고 있습니다!

다름이 아니라

spark_xgboost_lightgbm에서 버전이 바뀌면서

앞선 댓글을 통해 SparkXGBClassifier로 수정하여

해결은 하였으나, 새로 바뀐 XGB에서는xgb_model.feature_importances 이부분이 나오질 않아서, 혹시 SparkXGBClassifier의 featureImportances

를 보려면 어떻게 해야하는지

from mmlspark.lightgbm import LightGBMClassifier
import mlflow
lgbm_classifier = LightGBMClassifier(featuresCol="features", labelCol="label", numLeaves=100, maxDepth=10, numIterations=100)

lgbm_model = lgbm_classifier.fit(train_sdf)

-> 이부분부터 값이 나오질 않습니다.

오류메시지

org.apache.spark.SparkException: Job aborted due to stage failure: Task 4 in stage 73.0 failed 1 times, most recent failure: Lost task 4.0 in stage 73.0 (TID 285) (ip-번호.us-west-2.compute.internal executor driver): java.lang.NoSuchMethodError: com.microsoft.ml.lightgbm.lightgbmlib.new_doubleArray(J)Lcom/microsoft/ml/lightgbm/SWIGTYPE_p_double;

이 두부분에 대해서 문의 드립니다!

머신러닝 빅데이터 apache-spark 데이터-엔지니어링

답변 1

권 철민

지식공유자

안녕하십니까,

강의에서도 말씀드리듯이 feature importance는 xgb_model.feature_importances 가 아니라 xgb_model.get_feature_importances() 로 보셔야 합니다.
지금 databricks cluster 버전이 12.2 LTS, Spark 3.3.2 그리고 Lightgbm library는 강의와 동일하게 제가 설치해서 테스트 해보는데 별 문제 없이 잘 됩니다. Cluster와 Lightgbm library를 새롭게 생성해서 다시 한번 테스트 해보시고, 그래도 안되시면 사용하시는 databricks cluster 버전과 Spark 버전을 여기에 올려봐 주십시요.

감사합니다.

swsb0416

질문자

안녕하세요~ 강사님,

두 부분 다 해결했습니다.

감사합니다^^

인프런 커뮤니티 질문&답변

spark_xgboost_lightgbm 강의부분 관련