묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 한가지 방법으로 풀기
#train['환불금액']=train['환불금액'].drop#test['환불금액']=test['환불금액'].droptrain=pd.get_dummies(train)test=pd.get_dummies(test)target=train.pop('성별')from sklearn.model_selection import train_test_splitX_tr, X_val, y_tr, y_val = train_test_split(train,target,test_size=0.2,random_state=0)from sklearn.ensemble import RandomForestClassifiermodel=RandomForestClassifier(random_state=0)model.fit(X_tr,y_tr)pred=model.predict(test)submit=pd.DataFrame({'pred':pred})submit.to_csv('result.csv',index=False)a=pd.read_csv('result.csv')print(a.head()) 위와 같이 한가지방법으로 풀기와 동일하게 진행하였는데 model.fit(X_tr,y_tr) 에서 오류가 납니다. 결측치가 있는 '환불금액'열을 삭제해도 동일한데 한가지방법으로 푸는 코드에 오류나 잘못된 부분이 있을가요?.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
target 값이 object이면 검증하기전에 항상 int형으로 변경해야되나요?
안녕하세요? target 값이 object이면 검증하기전에 항상 int형으로 변경해야되나요? RandomForest 나 lgb 사용할 경우에는 그냥 안해도 되는거죠....
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
다시 학습을 할 필요가 있을까요?
안녕하세요검증용 데이터로 나눈 후 학습을 하면 비교적 적은 데이터로 학습이 될텐데요. 그러면 성능 확인 후 검증용데이터로 나누기전의 데이터로 다시 학습시키는 것이 좋을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
교재 내용 질문, 결측치 인코딩 관련
안녕하세요, 강의와 교재로 공부하고 있습니다.교재 작업형2 ch4 회귀 부분에서트레인 테스트 데이터를 합친 후범주형 데이터를 레이블 인코딩 한 후 다시 트레인 테스트로 쪼개고결측치를 채우는 최솟값, 최빈값으로 채우는 과정으로 진행이 되는데요, 레이블 인코딩 과정에서 범주형데이터의 결측치가 하나의 값으로 인코딩이 되어서결측치가 존재하지 않아 중앙값으로 결측치를 대체하는 과정이 불필요한 것 같은데 맞을까요? 또한 원핫 인코딩을 사용하려는 경우 결측치를 먼저 대체한 후에 인코딩을 해야 오류가 안나는게 맞을까요?일반적으로 결측치 처리를 인코딩 후에 하는지 전에 하는지 궁금합니다.감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
logit 모델 구성시 독립변수 교호작용은 안구해도 되는지요
logit 모델 구성시 독립변수 교호작용은 안구해도 되는지요?7회 1-2에서 강의에서는 주효과만 구해서 풀어주셔는데, 교호작용까지 하면 값이 좀 달라져서 문의드립니다
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 질문
작업형2 모델 분석 및 결과 제출에 대해 질문이 있습니다. 회귀분석을 예로들면 랜덤포레스트회귀, XGB회귀, 릿지, 라쏘 등 다양한 모델을 사용해서 모델 마다 도출하는 값이 다른고 그 중 가장 높은 값(r2값이나 mse 값 등 문제에서 평가로 제시된 지표)을 사용한다고 알고 있습니다. val데이터로 학습을하고 가장 높은 값을 찾아서 마지막에 pred = model.predict(test)로 대입하는데, 모델을 선택하는 과정이 없는 것 같습니다. 이렇게 두개의 모델을 사용해서 각각 값을 도출해서 위와 같은 값이 나왔고 이런식으로 test데이터를 예측값에 적용하는데 위 두개에 모델중에 더 나은 모델을 선택하는 과정이 없는건가요??두개의 모델이 다 활성화 되어있는데 저렇게 밑에 model.predict만 적어놓으면 이 모델이 xgb인지 랜덤포레스트인지 어떻게 인식하는걸까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
판다스 환경설정
판다스 환경설정을 하라고 하셨는데 어떻게 해야set_option 코딩 없이 모든 컬럼을 한번에 볼 수 있는가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
모의고사 문제3번 풀이
모의고사 문제 3번 풀이 관해서 질문 드려요!문제 3번 풀이가 방법이 총 세가지로 풀이 해주셨는데 ( replace, map, 조건)혹시 시험에서 저런 류의 문제에서 결측치랑 데이터값을 변경하라는 문제에서 어떤 특정한 풀이를 이용해서 풀라고도 나오기도 하나요?아니면 저 세개중에 한가지 방법만 사용해서 답만 구해도 상관 없는건가요!?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시험에서 minmax scale
스케일링 방법 2 한가지만 딱 알고 시험치러 가도 되나요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
검증 데이터 분리 시 질문입니다.
from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train.drop('charges',axis=1), train['charges'], test_size=0.15, random_state = 2022) X_tr.shape, X_val.shape, y_tr.shape, y_val.shape 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!먼저 선생님의 코드는 위와 같았습니다. 아래는 제가 수정해서 작성한 코드입니다.from sklearn.model_selection import train_test_split X_train = train.drop('charges', axis = 1) y_train = train['charges'] X_tr, X_val, y_tr, y_var = train_test_split(X_train, y_train, test_size = 0.15, random_state= 2002) -------> 보기 편하려고 이렇게 넣었더니 y_var을 찾을 수 없다는 에러가 나왔음헷갈리지 않기 위해 이와 같이 변수로 처리한 뒤 train_test_split을 했더니 X_train.head를 찍어도 선생님과 다른 결과가 나오고평가 수식을 적은 후 linear regression을 하니 y_val이 정의되지 않았다고 에러가 나옵니다. 이유가 무엇인지 한참 고민해도 알아내지 못해서 질문 남깁니다. 답변해 주시면 감사하겠습니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 object 삭제
안녕하세요.선생님은 baseline으로 object를 drop하고 머신러닝 모델을 돌리셨는데 그렇게 하시는 이유가 있나요? object를 삭제하는 것이 일반적인가요 아니면 인코딩해서 포함하는 것이 일반적인지요 시험 때 어떻게 해야할지 조금 헷갈려서요~
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
데이터 전처리 기준 질문드립니다!
선생님 안녕하세요!현재 작업형2 연습을 하고 있는데 데이터 전처리 과정에서어떤 문제는 object형 모두를 삭제하고, 어떤 문제에서는 int, float, object형 각각 일부 선택해서 삭제 또는 결측치 입력 후 검증 하던데선생님은 어떤 기준으로 나누는지 아니면 어떤 기준을 가지고 나누면 도움이 되는지 궁금합니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
분석기사
다중분류에서도 똑같이 타겟 y값만 따로 빼두고 train_x 와 test를 합친후 전처리하고 원핫인코딩을 적용한후 다시 분류하면 라벨인코딩을 사용하지 않아도 될까요?그리고 문제에서 제출 형식을 predict_proba()[:1] 로 하는 경우도 제시해주나요 ?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
캐글 문제 모음 노션페이지
캐글 문제 모아놓은 노션페이지 강의에서 보여주시는데 어디서 볼수있을까요? 캐글 사이트로 바로들어가면 너무 뒤죽박죽이어서요 ㅠㅠ..
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
결측치 처리관련 질문입니다.
안녕하세요 결측치 관련 질문드립니다1.시험에서 test 데이터가 주어질시제가 test데이터 행을 삭제하지 않아야 하는것은 인지했습니다.그러나 test 데이터의 결측치를 제 임의대로 값을 넣어도 되는것인가요?강의를 보니 이상치를 컨트롤하는 케이스는 거의없으나결측치는 object는 최빈값 int,float은 중앙값이나 0 을 대입하는데모든경우에 통일되는 방법인가요?혹은 시험장에서 여러가지 결측치 처리 방법을 전부 알고가서 하나하나 검증하며가장 값이 높은걸 넣어야 하나요시험장에서 A로 평가하겠다 하면 검증을 통해 나오는 수치가 A를통해 보통 몇 이상이 나와야 제출할수 있을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
예시문제 작업형2
안녕하세요. 강의 잘 듣고 있습니다!!예시문제 작업형2에서, 예시에서는 pred가 0,1로만 나오는데제출은 확률값인 0,xxx이런형태로 제출해도 되는 것이 맞나요....?roc_auc_score여서 확률값제출이 맞는 것 같은데, 예제를 볼때는 0/1로만 되어있어 질문드립니다!감사합니다.
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
Key: 'Gender' 오류 해결
drop작업 = 주석 처리 - 진행하지 않으면 key:'Gender' 오류남.영상 19:02부분# baseline - object컬럼 제거 cols = train.select_dtypes(include='object').columns # include는 파라미터라서 ==이 아닌 = 로 대입 cols print(train.shape, test.shape) # train.drop(cols, axis=1, inplace=True) train = train.drop(cols, axis=1) test = test.drop(cols, axis=1) print(train.shape, test.shape) # label from sklearn.preprocessing import LabelEncoder for col in cols: le = LabelEncoder() train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) train[cols].head() # one-hot
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
머신러닝 질문드립니다.
1. predict와 predict_proba 모두 머신러닝 모델에서 예측할 때 사용하는 함수인데, 빅분기 시험에서 제출할 때 predict_prob함수를 사용해야만 하는 이유가 있나요?2. random_state 경우 train&test split에도 사용하고 예축 모델에서도 사용하셨는데 빅분기 시험에서는 train&test split만 사용해도 괜찮나요? (그리드서치를 통한 하이퍼 파라미터 탐색에서도 train&test split에서만 random_state를 사용하는 경우가 있는 것 같아서요. -> 각 분할된 데이터셋의 최적의 하이퍼 파라미터 탐색하는 방식)
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
코랩에서 코딩 자동 입력 해제
이렇게 자동으로 코딩이 되는거 없앨 수 없나요?직접 혼자서 적어보려는데 자동입력이 되어 공부가 잘안되는거같습니다..
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
잔차 제곱합 구하는 문제
시험에서 단순선형회귀든 다중선형회귀든잔차 구할 때, model.resid 구하는 함수로 구해도 되나요?(단순선형회귀 강의에서 잔차를 실제값에서 예측값빼는식으로 구하지 않고)