묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
예측 임계값
임계값 관련해서 헷갈리는 점이 있어 문의 남깁니다.예를들어 예측에 대한 임계값이 0.5라고 한다면(pred >= 0.5).astype(int)로 봐야할지 (pred > 0.5).astype(int)로 봐야할지 궁금합니다.임계값 자체를 포함해서 봐야하는걸까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
2유형 오류
2차원 형태로 해야 출력이 되고,그냥 평상시처럼 열만 뽑으면 이런 에러가 뜹니다.. 4회 기출에서만 이런 현상이 생기네요.. 원인이 뭘까요..
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2유형 답안제출시
답안제출시 자기 수험번호를 파일명으로해서 제출하는건가요? 아니면 result.csv라는 파일명으로 제출하는건가요? result.csv로 제출하면 누가 제출했는지 알수 없을텐데, 이게 궁금합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7회 기출문제 작업형3에서..
1-2번) model = glm(formula, data=train, family=sm.families.Binomial()).fit() 를 실행하면 TypeError: 'module' object is not callable이런 에러가 나오는데 원인이 뭘까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시험 답 제출 질문
문제에서 정수로 출력하라는 조건이 적혀있지 않다는 가정 하에, 답이 460이면 460.0으로 제출할 경우 정답일가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
6회기출 작업형 2 submit 작성관련
안녕하세요, 아래와 같이 코드 작성중submit을 넣고 실행을 누르면 아래와 같은 typeerror가 발생하게 됩니다. 원인이 무엇인가요?TypeError Traceback (most recent call last) <ipython-input-47-f9877fb2effc> in <cell line: 71>() 69 70 pred = rf.predict(test) ---> 71 submit = pd.DataFrame({ 72 'pred' : pred 73 }) TypeError: 'dict' object is not callable # 머신러닝 학습 및 평가 - 랜덤포레스트 from sklearn.metrics import f1_score from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier(random_state=2022) rf.fit(X_tr, y_tr) pred = rf.predict(X_val) # f1 score 예측 시 클래스로 나누기 확정된 값들을 원함, predict로 예측 f1_score(y_val, pred, average='macro') # 실제값 y_val // 다중분류에서는 average='macro' 변수 넣어줘야함 # 0.9067668646482205 # print('===================') # LightGBM # import lightgbm as lgb # lg = lgb.LGBMClassifier(random_state=0, verbose=-1) # lg.fit(X_tr, y_tr) # pred = lg.predict(X_val) # f1_score(y_val, pred, average='macro') # # 0.9319703995747777 # # 예측, 결과파일 생성 # # test 예측 - pred에서 pred = rf.predict(test) submit = pd.DataFrame({ 'pred' : pred })
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
모델에 test 데이터 넣었을 때 오류가 나요
일단 위에 코드까지 작성했을 때는 오류가 나지 않고 결과가 잘 나옵니다. 그런데 테스트 데이터를 넣으니까 이렇게 오류가 뜨는데, 어떻게 해야할까요,,
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
기출6회 작업형 3 1번
항암약 환자 중 무증상의 비율을 구하는데len(df['항암약'] == 4) / len(df['항암약']) 이렇게 구하면 답이 안나오는 이유가 뭔가요,, ? ㅜㅜ
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
모델링 및 평가(분류)
from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier() rf.fit(X_tr[cols], y_tr) pred = rf.predict_proba(X_test[cols])여기에서 마지막 csv 파일 만들때 X_val에서 X_test로 변경한게 잘 이해가 안됩니다..! 예측 및 평가는 X_val로 하고 파일을 만들때는 X_test로 해야되는걸까요..?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
2유형 질문입니다
안녕하세요! 2유형에서 질문이 있는데요,범주형 변수 인코딩 시 고유값이 많을 경우에, cols = [ ] 로 고유값이 적은 범주형 범수칼럼과 수치형 변수 칼럼을 선택한다음, 원핫 인코딩해서 진행해도 괜찮을까요? (고유값 많은 범주형 칼럼을 아예 버리고 진행) 배운대로 하이퍼파라미터 튜닝(n_estimators, max_depth) 해서 높은 점수가 나온 모델을 택해서 적용, 제출하려하는데, 그냥 베이스라인을 제출하는게 안전하다는 말을 들어서 혼동이 됩니다... 답변해주시면 감사하겠습니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
light gbm 인코딩
강의에서 object 형을 astype을 통해서 카테고리로 변경하셨는데 혹시 이것도 인코딩에 포함되는 건가요?작업형2에서 랜포와 lightgbm 둘다 사용하려고 하는데 레이블. 원핫인코딩 대신에 문자열 자료를 카테고리로 바꾸고 랜포를 써도 될까요?? 아니면 lightgbm 한정으로 가능한건가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
T1-11. min-max & 상하위 5%값
from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() df['f5'] = scaler.fit_transform(df[['f5']]) # print(df) df_top = df.sort_values('f5',ascending=False) df_bottom = df.sort_values('f5',ascending=True) # print(df_top) df_top5 = df_top.iloc[int(len(df_top)*0.05)-1,-1] # print(df_bottom) df_bottom5 = df_bottom.iloc[int(len(df_bottom)*0.05)-1,-1] print(df_top5+df_bottom5)저는 코드를 이렇게 작성해서 답이 동일하게 나오긴 했는데sort를 써서 좀 복잡해진 느낌이 없지않아 있어서요 quantile을 쓰면 자동으로 정렬이 된 후 해당하는 퍼센트 값을 return해주는건가요?상위 몇퍼센트, 하위 몇퍼센트라는 문구를 보면 quantile를 그냥 쓴다고 생각하면 될까요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 한가지 방법으로 풀기
음...이 양식으로 빅데이터분석기사 실기 체험 유형2가 안풀리는데 혹시 해당 문제 풀이 소스 올려주실 수 있을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
5회기출 작업형 2 / def rmse 관련 질문드립니다.
안녕하세요 선생님, 5회 기출 작업형 2 관련 질문입니다.공부하고 있는 코드를 복습을 위해 한글로 정리하고 있구요. 아래와 같이 이미지 첨부드리오니, 우측에 있는 메모 함께 확인 부탁드립니다.def rmse 부근 y_true, y_pred 값을 정의하지 않았는데도 (X_tr, X_val 등...) 입력 시 자동으로 결과값이 나오는 이유가 궁금합니다. (2번째 이미지 하단 청색 코드) Test 예측에서 rmse(y, pred) 입력 시 강의에 나온 숫자하고 큰 차이가 있는데, 어디가 잘못된 것인지 알고싶습니다. (4번째 이미지 적색 숫자)
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
예시문제 작업형 2
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요강사님께서 설명해주신 한가지 방법으로 풀이하기 영상을 보고 train = pd.read_csv("data/customer_train.csv")test = pd.read_csv("data/customer_test.csv")# EDA# print(train.shape, test.shape) #2482# print(train.head())# print(test.head())# print(train.info())# print(train.isnull().sum())# print(test.isnull().sum())train['환불금액'] = train['환불금액'].fillna(0)test['환불금액'] = test['환불금액'].fillna(0)print(train.isnull().sum())print(test.isnull().sum())# 데이터 전처리target = train.pop('성별')print(train.shape, test.shape)train = pd.get_dummies(train)test = pd.get_dummies(test)print(train.shape, test.shape)# 검증데이터 분류# 머신러닝# 예측# 제출과 같은 방식으로 코드를 작성하고 있습니다. 위 방식으로 할 때 pd.get_dummies 이후의 결과가 (3500, 10) (2482, 10)(3500, 74) (2482, 73)위와 같이 나옵니다. 74와 73의 값이 동일하지 않은데, 이 상태로 머신러닝 진행해도 되는 건가요? 혹은 잘못된 코드 작성인가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
캐글 T1-34.pattern-py 문제 질문
재방문 패턴 분석: 사용자가 같은 날짜에 여러 페이지를 방문하는 경우를 '재방문'으로 간주합니다. 재방문한 사용자들의 데이터를 분석하여, 재방문한 날짜별 총 방문 페이지 수를 구하고 가장 재방문이 많은 월을 정수로 구하시오 위 문제에서 '여러 페이지' 라는게 Page1, Page2 처럼 서로 다른 페이지를 말하는거 아닌지요? 풀이로 제공해주신 코드는 Page1, Page1 처럼 같은 페이지를 방문한 것도 재방문으로 간주되는 것 같습니다. 확인 부탁드릴께요
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
타겟 질문
pop함수 사용해서 타겟 뽑아내는거는 웬만하면 인코딩/ 스케일링 하기 전에 하는게 좋을까요???범주형 타겟이라고 해서 학습안하고 그러지는 않겠죠?ㅜㅜ오늘 xgboost했는데 fit될때 타겟 데이터 타입이 문제다 이런 오류가 떠서 헷갈려요ㅠ
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
zscore, standardscaler차이점
선생님 강의 보다가 zscore함수가 눈에 띄어서 그런데 혹시 sklearn.preprocessing아래 standardscaler와 차이가 있나요?? 실행해보니 zscore는 1이상의 값도 반환을 하던데 무슨 기능을 하는걸까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
윌콕슨 순위합 검정
데이터 전문가 포럼 카페에서 윌콕슨 순위합 검정에 관련해서 의견이 나왔었는데, 선생님 강의에서는 윌콕슨에 관련해서 말씀해주셨는데, 부호순위 인가요 순위합 검정인가요? 그리고 둘이 구현하려면 코드가 다를까요? 순위합 검정과 부호순위는 ttest독립성 검정에서 정규성 불만족시 수행되는건가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
2유형 질문드립니다
안녕하십니까 선생님 저는 빅분기 실기 준비기간이 길지않아 아무래도 2유형을 한가지 방법으로만 공부해야할 것 같습니다. 한가지 방법으로 풀기 강의를 통해 2유형을 풀어보면 너무나도 쉽게 문제들을 풀 수 있어 편하다고 생각하는데 한편으로는 모든 문제들을 오직 이 방법으로만 풀어도 되나하는 생각이 들기도 합니다. 공부하면서 다음과 같이 질문들을 써놨습니다. 답변주시면 감사드리겠습니다.작업형 2유형 질문1. 이제는 3개의 데이터는 시험에 나오지 않는 것인가?2. 어느 문제든 상관없이 원핫인코딩만 써도 되는것인가?3.. 선생님께서는 기출 한가지 방법으로 풀기 강의를 시작하기 앞서 기출문제에서는 결측치가 있거나 특이사항이 없었기에 쉽게 풀 수 있다고 말씀하셨는데, 혹시 여기서 말씀하신 특이사항의 예시로는 뭐가 있을까?