묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
주구매상품, train test 갯수 다름
train에서 주구매상품은 42종류고 test에서 주구매상품은 41종류입니다 이것을 확인하고 종류갯수가 달라서 라벨 인코딩을 해준것인가요? 지금까지는 확인하지 않고 object형 라벨 인코딩 해주었는데 train이 '소형가전' 이 하나 더 있는데 따로 어떤 처리를 해준 건가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
전처리시 컬럼삭제에 따른 성능차이 질문
예를들어 기출6회 작업형2유형 풀이시에 Heat_Load 를 예측하도록 되어있습니다. 예를들어 train 과 test 컬럼에서 nunique 로 값을 확인하고 실제 row수만큼의 빈도수가 발생하는 Cool_Load 값이 있는데요. 이 컬럼은 삭제하는것이 더 효율적인 머신러닝 성능이 나오더라구요. 하여 전처리시 컬럼을 삭제처리하는 기준을 nunique 로 임의로 판단해도 될지 혹시 강사님은 컬럼삭제의 기준을 어떤식으로 잡는지 궁금합니다. 아니면 그대로 진행하는게 더 나을지 판단이 잘 안서서 질문드려 봅니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
get_dummies 와 스케일링, 라벨인코딩 사용법의 차이
작업형 2유형을 풀이하게되면get_dummies 로 한방에 처리하거나민맥스스케일러, 라벨인코더로 처리하는 경우가 있는데요 둘 중 어느것을 써야 더 효율적일지는 상황에 따라 달라지는건지요? 결과값은 같은건지요 ?둘다 머신러닝이 납득할 수 있는 숫자로 인코더 되는 역할로 여겨지는데요. get_dummies 만 사용해서 풀이해도 괜찮을지, 혹은 민맥스 스케일러나 라벨인코더를 사용하는게 나을지 궁금합니다. 그리고 스케일러랑 인코더는 세트로 사용해야 하는지, get_dummies 를 혼용하여 사용하기도 하는지 궁금합니다. 결론적으로 minmaxscaler, labelencoder 는 어떤걸 효율적으로 해주고 성능에 영향을 미치는지 큰 차이가 없으면 get_dummies 로 사용해도 되는지 궁금합니다. 또한 get_dummies 는 숫자형과, 오브젝트형이 포함된 전체 테이블을 넣어서 인코딩 하면 되는지도 궁금합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
캐글 T2 - 2 당뇨병
안녕하세요! 캐글 당뇨병 문제에서 Glucose, BloodPressure, SkinThickness, Insulin, BMI에서 이상치가 있는 부분을 처리하셨는데 저는 초보라 시험장에서 describe 만으로 저 데이터에 이상치가 있다는 것을 모를거 같은데 이상치 처리 하지않고 그냥 모델 학습시켜서 제출해도 괜찮을까요? 감점이 클까요? ㅜㅜ
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
캐글 T2-1 타이타닉 질문있습니다.
EDA 단계에서 age, cabin에서 결측치가 있다는 것을 알았는데 혹시 이건 따로 처리를 하지 않아도 되는건가요? y = y_train["Survived"]# sex만 원핫인코딩 됨 features = ["Pclass", "Sex", "SibSp", "Parch"]X = pd.get_dummies(X_train[features])test = pd.get_dummies(X_test[features]) -> 이 4개 컬럼을 원핫인코딩 하셨는데 혹시 이 컬럼들을 선택한 기준이 있을까요? object가 아닌 열도 포함되어 있어서요 ! 나머지 cabin이나 embarked 같은 문자 데이터는 인코딩 안해도 되나요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 2 제출형식
제출된 csv 파일로 평가한다고 나와있는데 체험환경에서 제출을 누르면 코드가 제출되는 것 같은데 그 코드안에 csv 파일이 생성되는 코드가 있으면 거기서 생성된 csv 파일로 채점되는 것인가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
RandomForest 'Classifier', 'Regressor' 차이
질문이 사실 두 개 있어요.제목처럼 RandomForestClassifier, RandomForestRegressor 를 작업형2 에서 구분하여 사용하는 기준은 뭔가요?? 타겟이 수치형, object 형에 따라서도 아닌거 같아요.. 6회 기출유형 작업형2 문제풀이에서 # 최종 제출 파일rf.fit(train, target)pred = rf.predict(test)submit = pd.DataFrame({'pred': pred})submit.to_csv("result.csv", index=False)이렇게 적었는데, rf.fit(train, target)이 아니라 rf.fit(X_tr, y_tr) 아닌가요??
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
이원분산분석 상호작용 표시 * 로 했을 때 자유도 차이
토마토 예제 이원분산분석에서 상호작용을 * 로 간단하게 표시할 수 있다고 했는데아래 코드 실행하면 상호작용의 자유도는 6으로 나옵니다. 그런데 원래 " :" 식으로 표시하면 자유도가 4입니다. 어떤 차이가 있는가요?model = ols('토마토수 ~ 종자 * C(비료)', data = df).fit()anova_lm(model)
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
pvalue=2.2~
유의수준 0.05보다 크므로 기각역이 커서 귀무가설을 기각할 수 있으므로, 귀무가설 채택(정규분포를 따르지 않는다) 아닌가요?숫자가 축약이 되서 저렇게 표시되었다는 말씀같은데 매번 pvalue를 다시 산출하고 하는 과정이 필요하다는 말씀이실까요?이후 검산에서 0.00000000~2 로 나오는게 있던데 시험에서 이런경우 0.05보다 크다 작다가 아니라 기재하신 {}.format 이런 함수를 꼭 작성해봐야 pvalue를 확실하게 알수있는 건지 궁금합니다 작성하신 코드가 어려워서요
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 한가지만 더 여쭤보고싶습니다!
실제 시험에서 물론 안까먹어야 하겠지만...ㅠㅠ LabelEncoding 적용한 컬럼에, 이후에 그대로 StandardScaling 해도 모델 학습에 성능적으로 문제가 없을까요? 원핫 적용한 컬럼에는 standard 이어서 해도 값 변동이 없을것 같은데 Label 은 혹시 어떻게되는지 궁금합니다..! 물론 시험때는 최대한 안까먹고 Label 했던 컬럼은 빼두고 StandardScaling 을 적용하려고 합니다..!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
기출 3회 작업형 2 csv 파일 저장
똑같이 했는데 오류가 왜 뜨는지 모르겠습니다ㅠ이런건 처음봐서 무슨 오류인지도 모르겠어요..
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
단순선형회귀 summary 내용중에
단순선형회귀 summary 내용중에 신뢰구간에 대한 부분을 설명을 해주실 때, '이 신뢰구간은 95% 신뢰구간을 나타냅니다' 라고 말씀하셨는데 이는 어떤 정보를 보고 판단할 수 있는건가요? 단순선형회귀 강의 중 2:54
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 모의문제1 에서 제출 포맷을 보면
문제들 다시 한번 복습으로 쭉 풀어보고 있는데요!작업형2 모의고사1 에서 제출 형식을 보면 predict_proba 로 해야할것 같은데 영상에서는 predict 로 하셨거든요. 혹시 제가 잘못 이해하고 있는지 문의 드립니다. 추가로, predict_proba 로 해서 1일 확률값을 구하면, roc_auc_score 는 점수가 채점되는데 나머지 accuracy_score, f1_score 같은건 채점이안되더라구요. (오류코드: Classification metrics can't handle a mix of binary and continuous targets) 제가 정상적으로 이해한건지 문의 드립니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
가설검정풀이 윌콕슨검정 질문
수업 9분 53초 부근,stats.wilcoxon(df['무게']-120 에서 왜 -120 으로 머이너스 부호를 넣는지 궁금합니다
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
9:03 문제3) 결측치가 제일 [많은] 값의 컬럼명이라고 이해해도되나요?
시간 : 9:03 문제3은 '결측치가 제일 큰 값의 컬럼명은?' 이라는 문제인데이를 '결측치가 제일 많은 값의 컬럼명은?'이라고 이해해도 되는거 맞을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 2유형 질문입니다!
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요안녕하세요 강사님 수업 잘 듣고 있습니다.다름이 아니라 2유형의 경우 기출/모의고사 포함 정답이 정해진 문제가 아니기 때문에 여러 풀이 방법을 보여주신 거 같은데곧 시험을 앞둔 상황에서 제가 능동적으로 코딩하는 것이 어려울 거 같아 해당 영상(작업형2 모의문제 1)처럼 시험 문제를베이스라인/라벨인코딩으로 나누고 모델은 2개 정도만 외워 사용해서 정답을 제출해도 점수를 얻을 수 있을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
object 데이터 인코딩 관련 질문
안녕하세요 선생님! object 데이터 인코딩을 할 때, 라벨 인코딩/원핫인코딩을 주로 사용하는 것 같은데각각의 인코딩 방법을 사용하는 경우가 있나요?선생님 풀이에서는 원핫인코딩을 더 많이 쓰시는 것 같던데, 빅분기에서는 원핫인코딩이 좀 더 성능이 잘나와서 그런건지 궁금합니다. 감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
자주 활용되는 판다스 예제에 loc 질문있어요
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요replace 는 df로 다시 저장해야하는데 loc는 다시 저장할 필요가 없이 바로 바뀌는 건가요?? 저장을 다시해야하는 기준이 있나요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
섹션 13 작업형 2번 코드 질문드립니다.
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요좋은 강의 항상 감사드립니다.고민끝에 작업형2번은 이러한 과정으로 진행하려합니다.오류 없이 결과는 나왔는데요.혹시 코드에 문제있는 부분이 있을까요?감사합니다.*수정 아래 코드 추가from sklearn.metrics import f1_score #train.isnull().sum() #test.isnull().sum() #train.head() #test.head() #train.info() #'Gender, Ever_Married Graduated Profession Spending_Score Var_1 train = train.drop("ID", axis=1) target = train.pop('Segmentation') test_ID = test.pop('ID') cols = ['Gender', 'Ever_Married', 'Graduated', 'Profession', 'Spending_Score', 'Var_1'] from sklearn.preprocessing import LabelEncoder le = LabelEncoder() for col in cols: train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size = 0.2, random_state = 2023) X_tr.shape, X_val.shape, y_tr.shape, y_val.shape from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier(random_state = 2023) rf.fit(X_tr, y_tr) pred = rf.predict(X_val) f1_score(y_val, pred, average='macro') pred = rf.predict(test) submit = pd.DataFrame({ 'ID' : test_ID, 'Segmentation' : pred }) submit.to_csv("0010", index=False) #import pandas as pd #df = pd.read_csv("0010") #df
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
기출 2회 작업형 2 질문입니다.
분리할 때와 평가할 때의 random_state의 값이 2021과 2022로 서로 다른데 어떤 값에 맞춰서 작성해야 되나요? 아니면 둘의 값이 서로 달라도 상관없는 건가요?