묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 2 데이터 3개 주어지는 경우
작업형 2 데이터가 3개 주어지는 경우어떻게 해야하는지 강의에서 설명을 자세히 안해주신 것 같아요만약 해주셨다면, 어느 강의 보면 될지요?
-
미해결15일간의 빅데이터 파일럿 프로젝트
centos 7로 이 강의를 진행할 수 있나요?
centos 6을 다운 받을 수 없어 centos7을 다운 받아 진행하려고 합니다.지금 진행하다가 막힌 부분은 server01과 server02를 virtual Machine에서 centos7 파일 적용이 안 됩니다.\이 다음에 아무것도 안 뜨고 검은색 화면만 뜹니다
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
3회 기출유형 작업형 2 질문이요
작업형 2 문제푸실때 어떤 경우는 범주형과 수치형 데이터분리를 하실때도있고 안하실때도있으셨는데 이번에는 하셨더라고요 어떤경우에 범주형데이터와 수치형데이터를 분리하면 되나요? 선택기준이 궁금합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
예시문제 작업형 2 (구버전)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요안녕하세요 데이터 전처리 시 결측치 처리 할떄환불금액에 NA 가 있어서 0으로 채웠는데, 이를 환불금액의평균값으로 채우는게 점수에 영향이 있을까요?결측치 및 이상치 처리에는 정답이 있는것인지 궁금합니다. 또한 피처엔지니어링을 할때 데이터를 수치, 범주형으로 분리 하고 다시 병합하는 과정도필수가 아닐까요?아래와 피처는 같이 작업하는 과정으로 이해하고있습니다. 수치형- 민맥스 스케일링 (필수는 아님)범주형- 인코딩( 많으면 라벨, 적으면 원핫) : 필수 이렇게 생각하면 될까요?감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
바보 같은 질문이지만... 행(가로) 열(세로)
행(row)이 가로고 열(column)이 세로 잖아요.문제를 풀다가 이 기본 개념이 헷갈리는 멘붕상태를 경험해서 글 올립니다... ㅠ axis=1 이 세로(칼럼)별로 정렬하는거라고 생각하고 있었는데sum(axis=1) 인 경우 왜 행별로 값을 구하고, sum(axis=0)은 칼럼별로 값을 구하는지 순간 이해가 안되서.... 칼럼이 a1,a2,a3 이런 식으로 있다면, axis=1일 때 각 칼럼별로 계산헤서 a1의 합, a2의 합, a3의 합, 이런식으로 나오는 줄 알았는데, axis=0일 때 a1의 합, a2의 합이 구해지더라고요.... 이걸 어떻게 하면 쉽게 이해하고 외울 수 있을까요....??
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
lightGBM 질문입니다.
성심성의껏 답변달아주셔서 감사합니다.기출 5회 2유형에서 회귀분석에서 이렇게 작성해보았는데import lightgbm as lgb model2 = lgb.LGBMRegressor() model2.fit(X_train, y_train) pred2 = model2.predict(X_test) print(pred2) 결과가 나올때 나오는 이 설명 내용은 머 그냥 알려주는것 같긴한데 시험볼때 문제 없겠지요?[LightGBM] [Info] Auto-choosing row-wise multi-threading, the overhead of testing was 0.000194 seconds. You can set force_row_wise=true to remove the overhead. And if memory is not enough, you can set force_col_wise=true. [LightGBM] [Info] Total Bins 388 [LightGBM] [Info] Number of data points in the train set: 3759, number of used features: 8 [LightGBM] [Info] Start training from score 12353.321362 그리고 결과값이 이렇게 소수로 나오는데, 예측가격은 정수형으로 나와야 하는거아닌가요?? ㅠㅠ 아직 많이 부족합니다.[15684.51702898 16434.89804293 14563.42614282 ... 9815.50704033 13794.84066529 5558.57863346]
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
평가지표가 ROC-AUC 일때, predict_proba, predict 둘다 제출해도 무관한게 맞죠?
제가 영상대로 이해한게 맞다면 평가지표가 ROC-AUC 로 나오면 predict_proba()와, predict() 둘다 해보고, 성능이 좋은 거로 최종 제출해도 되는게 맞죠?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
주석 단축키가 되다가 안되네요..
코랩 접속 후 초기에는 주석처리(ctrl + /)가 잘 되는데어느 시점에서는 주석이 안먹히네요 ㅠㅠ 랩탑이랑 데스크탑 둘다 그러는데 어떤 이유가 있을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
기출유형 6회 작업형 2번 질문입니다..!
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요안녕하십니까 오늘도 문제를 풀어보고 있는 와중에마지막 부분에서 TypeError: 'dict' object is not callable가 뜨네요 위치는 아래 처럼 46번에서 나오네요문제가 무엇일까요...?TypeError Traceback (most recent call last) <ipython-input-101-9bd54b1c48b7> in <cell line: 46>() 44 45 pre = rf.predict(e_test) ---> 46 sm = pd.DataFrame({ 47 'pred' : pre 48 }) import pandas as pde_train = pd.read_csv('energy_train.csv')e_test = pd.read_csv('energy_test.csv')pd.set_option('display.max_columns',None)# print(e_train.info())# print(e_train.shape, e_test.shape) (537, 10) (231, 9)# print(e_test.isnull().sum()) 결측치는 X## e_train.nunique() # 12 12 7 4 2 4 4 6 467(217) 5hl = e_train.pop('Heat_Load')c_tr = e_train.select_dtypes(exclude='O').columnsfrom sklearn.preprocessing import MinMaxScalerscaler = MinMaxScaler()cols = c_tre_train[cols] = scaler.fit_transform(e_train[cols])e_test[cols] = scaler.transform(e_test[cols])from sklearn.preprocessing import LabelEncoderle = LabelEncoder()col = ['Roof', 'Height', 'Orient']for c in col : e_train[c] = le.fit_transform(e_train[c]) e_test[c] = le.transform(e_test[c])from sklearn.model_selection import train_test_splitX_tr, X_val, y_tr, y_val = train_test_split( e_train,hl,test_size=0.1,random_state=2023)# print(X_tr.shape,X_val.shape,y_tr.shape,y_val.shape)from sklearn.ensemble import RandomForestClassifierfrom sklearn.metrics import f1_scorerf = RandomForestClassifier()rf.fit(X_tr,y_tr)pred = rf.predict(X_val)f1_score(y_val, pred, average='macro')pre = rf.predict(e_test)sm = pd.DataFrame({ 'pred' : pre })sm.to_csv('result.csv', index=False)
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
anova_lm 파라미터 질문이 있습니다.
from statsmodels.formula.api import olsfrom statsmodels.stats.anova import anova_lm model = ols(formula, data).fit()anova_lm(model) <---- 이 부분에서 typ = 2 이런식으로 파라미터를 적는 경우들도 있던데 이거는 어떤건지 알 수 있나여 ?!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
예시문제 작업형2(구 버전)
ValueError: array length 2482 does not match index length 3500제가 안보고 풀어봤는데 이런 에러가 뜨는건 무슨 이유일까요..밑에는 제가 작성한 코드입니다. # 5. 평가까지 잘 돌아가다가 # 6. 제출 부분 작성하니깐 갑자기 저런 오류가 뜨네요 ㅠㅠ.. 제 코드 중에 어느 부분이 잘못된 걸까요.. # 2. 전처리 # 2-1. 결측치 처리 # print(X_train.isnull().sum()) X_train['환불금액'] = X_train['환불금액'].fillna(0) X_test['환불금액'] = X_test['환불금액'].fillna(0) # 2-2. object 컬럼 라벨인코딩 from sklearn.preprocessing import LabelEncoder cols = ['주구매상품', '주구매지점'] le = LabelEncoder() for col in cols : X_train[col] = le.fit_transform(X_train[col]) X_test[col] = le.transform(X_test[col]) # 2-3. 불필요한 컬럼 삭제 X_train = X_train.drop(columns = 'cust_id') X_test = X_test.drop(columns = 'cust_id') test_id = y_train.pop('cust_id') # 3. 분리 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(X_train, y_train['gender'], test_size = 0.2, random_state = 2022) # 4. 학습 from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier(random_state = 2022) model.fit(X_tr, y_tr) pred = model.predict_proba(X_val) # 5. 평가 from sklearn.metrics import roc_auc_score # print(roc_auc_score(y_val , pred[:, 1])) # 6. 제출 pred = model.predict_proba(X_test) pd.DataFrame({'custid' : test_id, 'gender' : pred[:,1]}).to_csv('00000.csv', index = False) # print(pd.read_csv('00000.csv'))
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
윌콕슨 부호순위 검정 질문입니다
수업 9분 53초 부근,stats.wilcoxon(df['무게']-120 까지는 이해했습니다.뒷부분에 alternative = 'less' 라고 적으셨는데, 왜 양측검정이 아닌 단측검정(낮은쪽)을 진행하는건지 궁금합니다!대립가설이 '평균 무게는 120g보다 작다'여서 그런건가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
회귀분석 예측값 신뢰/예측구간 구하기
안녕하세요, 선생님항상 빠른 답변 감사합니다. 다름 아니라 단순선형회귀 분석할때예측키에 대한 신뢰구간, 예측구간을 구할경우아래와 같이 DataFrame을 작성하는데데이터 프레임 안에 딕셔너리 형태로 예측값을 넣을경우그냥 50이라는 숫자 말고, [50] 대괄호를 쳐야되는 이유가 있을까요?newdata = pd.DataFrame({'몸무게':[50]}) 2유형 마지막 단계에 파일저장할 때처럼대괄호 없이 '50'이라는 값만 입력해봤는데 당연히 오류 납니다.ValueError: If using all scalar values, you must pass an index
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
이원분산 분석에서 범주형 데이터 처리 질문드립니다.
앞에 대문자 C를 붙여주는 이유가 수치형 데이터로 바꿔주기 위함 아닌가요..??그렇다면 비료는 11, 12, 13으로 수치형인데 C를 붙여주는 이유가 궁금합니다..!! 아니면 정확히 모르겠다 싶을때 그냥 상관없이 독립변수들 앞에 전부다 C를 붙여줘도 괜찮은건가요??
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
2회 작업형 2유형 문의 드립니다.
안녕하세요! 강의 잘 듣고 있습니다. 많은 도움을 주셔서 진심으로 감사드립니다.결과 제출을 위한 데이터프레임 생성 시 아래와 같은 오류가 있어 문의 드립니다.위와 같이 list object is not callable이라는 오류가 뜹니다.X_test['ID'] 또한 동일한 list 형태이나 이는 오류가 뜨지 않습니다.array 형태를 .tolist() 해도 동일 오류가 발생합니다.답변 부탁드립니다.감사합니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
사후검정 질문드립니다.
투키와 본페르니가 있는데 본페르니가 더 정확성이 높다고 하셨는데 그렇다면 본페르니만 사용해도 되는거 아닐까요...?? 굳이 투키를 사용하는 이유가 있는지 궁금합니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
ANOVA 테이블 결과표 문의드립니다!
안녕하세요! 이 결과표에서 variable 과 Residual 의 두개의 행이 있는데 검정통계량과 pvalue 값은 7.296 / 0.0006 인건 알겠습니다!근데 만약 문제에서 자유도랑 잔차제곱합 그리고 평균제곱합을 묻는다면variable 은 어떤 것의 행이고Residual 은 어떤 행인지 몰르겠는데 알려주실 수 있을까요? 어떤 행의 값을 답으로 제출해야될지...
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
사후검정 tukey 검정 결과 출력 문의
안녕하세요, 선생님 tukey 검정 결과를 출력하기 위해 print문으로 변수만 출력하거나 변수에 summary()해서 출력하나 결과값 차이는 없는 거 같은데, 일원분석 강의시에는 summary()로 출력,이원분석 강의시에는 변수로 출력하셔서 차이점이 있는지 문의드립니다. from statsmodels.stats.multicomp import pairwise_tukeyhsd tukey_result1 = pairwise_tukeyhsd(df['토마토수'], df['종자']) tukey_result2 = pairwise_tukeyhsd(df['토마토수'], df['비료'].astype(str)) print(tukey_result2.summary()) print(tukey_result2)
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
random_state 는 시험장에서 써야하나요?
train_test_split 혹은 모델 구축할 때 random_state를 사용하는 것으로 배웠는데, 이것도 시험장에서는 써야할까요? 기초적인 질문 죄송합니다 ㅠㅠ 시험이 다가오니 사소한 것도 확인하고 싶네요 ㅠㅠ
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
섹션5 모의문제3번
IndexError: too many indices for array: array is 1-dimensional, but 2 were indexed - 이런 오류가 뜨는데 어떤 문제일까요..? 아래는 제가 풀이한 방식입니다. # 2. 전처리# 2-1. 불필요한 컬럼 제거train = train.drop(columns = ['id'])test_id = test.pop('id') # 3. 분리from sklearn.model_selection import train_test_splitX_tr, X_val, y_tr, y_val = train_test_split(train.drop(columns = 'output'), train['output'], test_size = 0.2, random_state = 2022)# X_tr.shape, X_val.shape, y_tr.shape, y_val.shape # 4. 학습from sklearn.ensemble import RandomForestClassifiermodel = RandomForestClassifier(random_state = 2022, max_depth = 5, n_estimators = 400)model.fit(X_tr, y_tr)pred = model.predict(X_val)pred_proba = model.predict_proba(X_val) # 5. 평가from sklearn.metrics import accuracy_score, roc_auc_scoreaccuracy_score(y_val, pred)roc_auc_score(y_val, pred_proba[:, 1]) # 6. 결과pred_proba = model.predict(test)pd.DataFrame({'id' : test_id, 'output' : pred_proba[:,1]}).to_csv('00000.csv', index = False) # pd.read_csv('00000.csv') 또한 제가 다른 방법으로 풀었을 때 이렇게 나오는건 왜이런걸까요..