묻고 답해요
143만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
샤피로-윌크 검정과 관련된 질문
앞의 강의 단일 표본 검정에서의 샤피로 윌크 검정처럼 대립가설을 '정규성을 따른다' 라고 세우려면 어떻게 코드를 짜야할까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
인코딩 시 unique값 순서
안녕하세요! 회귀 코드를 보던 중 궁금한 점이 생겨 질문 남깁니다. 강의에서는 원핫인코딩 전에 describe(include= 'object')를 통해 train, test의 범주형 데이터 unique 수가 일치하는 것만 확인하고, train/test 병합 작업 없이 원핫 인코딩을 수행했습니다. 제가 실습하는 중에, train/test의 각 unique값을 출력했는데 캡쳐본과 같이 smoker 에서 yes,no의 순서가 바뀌어서 나왔습니다. 이 경우에는 unique값의 종류는 같지만, 병합 없이 각자 인코딩을 할 경우 train 데이터 -> yes:0, no:1test 데이터 -> no:1, yes:1와 같이 인코딩되지 않을까 생각이 들었습니다. unique 종류만 일치하면, 순서가 다르더라도 따로 병합하여 인코딩 하지 않아도 되는 것일까요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
Encoders require their input argument must be uniformly strings or numbers. Got ['int', 'str'] 라는 오류가 떴습니다.
보니깐 int와 str이 혼합되어서 뜬것 같은데..cols = X_train.select_dtypes(include = 'object').columns print(list) from sklearn.preprocessing import LabelEncoder cols = X_train.select_dtypes(include = 'object').columns le = LabelEncoder() for col in cols : le = LabelEncoder() X_train[col] = le.fit_transform(X_train[col]) X_test[col] = le.transform(X_test[col]) 그래서 이렇게 cols라는 코드를 사전에 지정해줬는데... 왜 뜰까요?처음부터 숫자와 str 데이터를 분리해서 인코딩 했어야 할까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 2에서 예시가 1, 0으로 되어있어도 상관없이 소수점으로 제출해도 되나요?
작업형 2에서 예시가 1, 0으로 되어있어도 상관없이 소수점으로 제출해도 되나요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
캐글에서는 아직 rmse를 쓸 수 없는건가요?
mae 평가 방법은 정상 작동하는 걸 확인했는데,rmse를 제가 잘못 작성한건가요?아니면 캐글에서는 아직 안되는 걸까요?만약 작성이 옳은거면 저대로 시험에서도 사용할 예정이고그렇지 않다면, 함수식을 그냥 외워가야 하나 싶어서요.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
2회 기출유형 작업형 2
17:13 부분 궁금해서 물어봅니다. 이미 pd.concat으로 데이터를 합쳤는데... 학습과 검증데이터를 나눌때 X_train, y_train 나눠서 작업해야 하나요? X_train['Reached.on.Time_Y.N']으로 하면 안되나요??
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
len함수와 sum 함수의 차이가 궁금합니다.
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요 캐글 필사 전략 강의를 수강하며 캐글에서 타이타닉 문제를 풀어보고 있는 중인데 궁금한 점이 있습니다. 살아남은 여성의 확률을 구할 때women = train_data.loc[train_data.Sex == 'female']["Survived"]rate_women = sum(women)/len(women)print("% of women who survived:", rate_women) 이 코드를 작성하는데여기서 sum(women)의 값과 len(women)의 값이 왜 다른지 궁금합니다. sum의 경우에도 살아남은 여성의 수를 계산하고 len의 경우에도 리스트의 개수를 리턴하기 때문에 동일한 값이라고 생각했습니다.len함수와 sum 함수의 차이가 궁금합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
회귀문제에서 LabelEncoder 사용가능 여부
안녕하세요 선생님, 회귀문제(ex. RandomForestRegressor)를 풀 때범주형 변수에 대해 LabelEncoder를 사용해도 되나요?아니면 pd.get_dummies만 가능한가요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
다중회귀와 다중선형회귀 공식
다중회귀와 다중선형회귀 공식이 틀린거죠? 다중회귀import statsmodels.stats.api as sm 다중선형회귀from statsmodels.formula. api import ols
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
계수
3유형에서 가장 큰 회귀계수를 구하라 하면 const도 포함인가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
train test 컬럼에 대한 질문입니다.
train과 test의 컬럼이 서로 다른경우가 시험에서 발생하는 경우가 잇나요? 이럴때는 train과 test의 교집합에 없는 컬럼들은제 생각으론 삭제하는것이 어떤 처리방법보다 좋은것같은데요(train에만 잇다면 삭제하는게 test에 좋을것이고test에만잇다면 train이 모델 훈련해도 해당 test컬럼과는 관련이없고) 제 생각이 맞나요? 또한 하나의 공통 컬럼에서서로 교차하지않는 서로다른 데이터가 존재한다면라벨이나 원핫인코딩을 진행할때 둘다 반드시합쳐서 인코딩을 진행하고 분리해야하나요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
baseline , 라벨인코딩, 원핫인코딩 평가 결과값 다르게
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요강의 들으면서 코드 똑같이 타이핑해서 결과값 확인 하는데요 머신러닝 돌리고 나서 정확도, 정밀도 F1 score, roc-auc 같은 결과값이강의랑 조금 다르게 나오는데(예를 들어 강의에서는 baseline 이 라벨인코딩보다 정확도가 더 높은데 제가 코드 돌렸을 때는 라벨인코딩이 조금 높게 나온다던지,,) 똑같이 코드를 작성해도 학습했을 때 다르게 나올 수도 있는거죠..? (여러번돌린값X)random_state 나 test_size 도 강의랑 똑같이 설정했는데도요!
-
미해결인공지능을 활용한 이상거래 검출 기법
VAE 모델 loss 계산하는 부분 오류
VAE 실습파트 질문있습니다. VAE 모델 loss 계산하는 부분에서 ValueError: A KerasTensor cannot be used as input to a TensorFlow function. A KerasTensor is a symbolic placeholder for a shape and dtype, used when constructing Keras Functional models or Keras Functions. You can only use it as input to a Keras layer or a Keras operation (from the namespaces keras.layers and keras.operations). You are likely doing something like: ``` x = Input(...) ... tf_fn(x) # Invalid. ``` What you should do instead is wrap tf_fn in a layer: ``` class MyLayer(Layer): def call(self, x): return tf_fn(x) x = MyLayer()(x) ``` 해결이 안되고 있습니다. 버전이 달라져서 오류가 생긴듯한데, 버전이나 해결방법 부탁드립니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
submit 오류
submit 생성 과정에서 어떤 오류인지 모르겠습니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
(), []
target = train.pop('total') target 이때는 () 중괄호를 쓰고 train['total'].describe()이때는 []쓰는 이유가 뭘까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
roc_auc_score 오류
roc_auc_score(y_val, pred) 하였는데 ovo, ovr 오류 발생했습니다. 어떤 오류인가요
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
한 가지 방법 풀기
한 가지 방법으로 풀기로 문제를 풀었을 때는 ID 값이 없는데 Pred 값만 제출해도 되는걸까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
ndarray로 바뀐 사유가 궁금합니다..
Labels in y_true and y_pred should be of the same type. Got y_true=[0 1] and y_pred=['0' '1']. Make sure that the predictions provided by the classifier coincides with the true labels.이런 문장이 뜨던데 accuracy_score(ans, pred) 중 pred가 numpy.ndarray 배열이 된 것 같거든요..잘 따라한 것 같은데 선생님이 한건 바로 accuracy_score를 바로 볼 수 있고, 제거는 못보여 지네요..pd.DataFrame(pred) 사용해서 해결하긴 했는데,, numpy배열로 바뀐 사유가 궁금합니다. y_train['income'] = y_train['income'].str.replace(">50K", '1') y_train['income'] = y_train['income'].str.replace("<=50K", '0') y_train['income'].astype(int)from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier() rf.fit(X_train[list], target) pred = rf.predict(X_test[list]) submit = pd.DataFrame( { 'id' : X_test['id'], 'income' : pred } ) submit.to_csv("1111.csv", index = False) y_test.head() (y_test['income']=='>50K').astype(int)from sklearn.metrics import accuracy_score y_test = pd.read_csv("https://raw.githubusercontent.com/lovedlim/inf/main/p2/data_atype_y/y_test.csv") ans = (y_test['income'] == '>50K').astype(int) pred = pred.astype(int) accuracy_score(ans, pred)
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
(y_test['income']=='>50K').astype(int) 관련
(y_test['income']=='>50K').astype(int) 로 코딩하면 바로 0 혹은 1의 값으로 바로 변경되던데요. 만약 3개 이상의 target 값이 있을경우 astype(int) 하게되면 0, 1, 2 로 3개가 생기는 걸까요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
df.iloc를 사용시 범위 설정문의
안녕하세요 6회 기출문제 3번을 풀다가 궁금한점이 생겨서 문의 드립니다. 아래와 같은 데이터가 있을 때 '날짜'와 '경찰서 명'은 object 입니다. 위 데이터에서 '강력범죄' 부터 '교통범죄'까지 데이터를 행으로 총합을 구할 시에 아래와 같이 iloc를 설정을 한다고 풀이와 강의에 나와있습니다. df['총범죄건수'] = df.iloc[:, 1 : -1].sum(axis =1)여기에서 iloc 에서 '-1' 이라고 설정하는 것은 제일 끝 열까지 설정하는 것이 아닌지요?그러면 '경찰서명'까지 선택이 되어야하는데 로그를 찍어보면 '강력범죄'~'교통범죄'까지 나오는 것을 확인할 수있습니다. 강의에서는 iloc는 0부터 세기 때문에 바로 전까지 값의 열이 선택된다고 알려주셨고, -1로 하면 끝의 열을 나타내는 것이고 -2를 하면 끝열 바로 전 열을 선택하는 것이라고 알려주셔서 알고있습니다. 그런데 위에 데이터에서는 왜 -1을 해도 '경찰서명'까지가 안나오는 것인지 문의드립니다.