묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
통합 강의안 요청
각 강의 파트별 교안은 전체적으로 보는데 불편합니다.통합된 교안을 부탁드립니다.유승민 jejumoon@naver.com
-
해결됨이공계열 전공자를 위한 컴퓨팅사고와 인공지능
공지
강좌 운영이나 강의 내용에 관해 궁금한 점이 있으면 자유롭게 나누어주세요.교수자, 수강생 누구나 글쓰기와 댓글 쓰기가 가능합니다.
-
해결됨R언어 프로그래밍과 데이터분석
공지
강좌 운영이나 강의 내용에 관해 궁금한 점이 있으면 자유롭게 나누어주세요.교수자, 수강생 누구나 글쓰기와 댓글 쓰기가 가능합니다.
-
해결됨빅데이터 기반 정책평가론
공지
강좌 운영이나 강의 내용에 관해 궁금한 점이 있으면 자유롭게 나누어주세요.교수자, 수강생 누구나 글쓰기가 가능합니다.
-
미해결Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기
동영상 재생이 안됩니다.
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 동영상 재생이 너무 느립니다. 그나마 엣지에서는 버벅 거리면서 돌아가긴 했는데, 크롬에 최적화 되어 있다고 해서 크롬으로 해보니 동영상 재생 자체가 안되네요. 계속 로딩만 하고..해결 방법이 없을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 2 스케일링
범주형 변수를 라벨인코딩 후 수치형변수와 같이 스케일링을 진행하였는데 문제가 되나요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
8회 작업형2 MAE값 질문
수치형 변수는 minmaxscaler, 범주형 변수는 라벨인코딩을 사용했고모델은 randomforestregressor를 사용하였습니다.max_depth나 n_estimator는 바꿔봐도 기본값과 큰차이 없거나 MAE값이 더 올라가서random_state값만 지정해주고 따로 튜닝은 하지 않았습니다. 다른분들 후기를 보니 범주형 변수중에 name컬럼은 유니크값이 2개여서 name컬럼은 원핫인코딩, 나머지는 라벨인코딩 하신분들이 계시더라구요. 저는 MAE값이 116정도로 나왔고 이대로 제출했는데 다른분들은100대로 나오신분들이 많이 계신거 같아서 혹시 감점요소가 있을지 궁금합니다.
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
강의자료 통합본 부탁드립니다
해당 강의 자료 통합본 자료 공유 부탁드리겠습니다.아래 메일주소로 보내주시면 감사하겠습니다.kimmh6840@naver.com
-
미해결[핵집] 2024 빅데이터 분석기사(필기)_과목 1~2
강의자료 부탁드립니다
안녕하세요[2024 빅데이터 분석기사(필기)_과목 1~2] 과목 신청해서 수강 중 입니다해당 강의 피피티 통합 자료 부탁드립니다이메일: sjw2275@naver.com감사합니다
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
8회 작업형2 질문
안녕하세요.8회 작업형 2 관련해서 회귀문제라서1.수치형 변수에 대해 minmaxscaler2.범주형 변수에 대해 원핫인코딩 후3.RandomForestRegressor(random_state=0) 학습결과를 제출했는데 적합한 모델로 돌린것인지 궁금합니다* random_state=0 미작성시 mae값이 더 좋았는데 다시 생각해보니 에러값이라 작을 수록 좋은데 헷갈려서 '0' 적용한 값으로 제출했네요 결과 제출 시에는test 데이터 행 개수 2064개 동일한것은 확인하였고sklearn.metrics import mae 적용한값이 0.0000*** 소수점으로 출력된것으로 기억하는데다른 분들 93,94는 아니었던 것 같아서 이런경우에는 오답처리되는 것인지 문의드립니다;;
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
8회 작업형 2번 시험에서
강의해주신 내용/ 기출분석이랑 굉장히 비슷했던 거 같아서시간관계상 MAE도 돌려보지못하고..그냥 result 저장하고 제출했는데 ㅠ 랜덤포레스트 회귀/원핫인코딩/칼럼수는 2064개 인가로 문제없었구요, pred는 잘 출력되었습니다. 문제가 될까요?ㅠㅠ MAE로 확인도 못해봤네요
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 답안제출 시
선생님, 이번 실기문제 중 작업형2에 평가지표가 mae로 나왔는데 에러 값이면 최소값을 해야하는데 모델 3가지를 실행 후 최대값으로 제출해버렸는데, 다른 사항들은 다 조건에 맞춰도 아예 0점 처리되나요??...
-
미해결빅데이터/텍스트마이닝 논문 작성법(LDA,BERTtopic,감성분석,CONCOR with ChatGPT)
데이터 전처리 관련 질문드립니다.
안녕하세요 선생님데이터 전처리 과정에서 힘든점이 있어 한가지 여쭙고 싶어 질문드립니다.텍스트 마이닝의 경우 원본(예를 들어 리뷰 등) 데이터가 많게는 몇천건에서 수만건, 수십만건 까지 자료를 수집해서 분석할 수 있는데 한글의 경우 okt 분석기로 형태소 분석을 하고 나면 여전히 제대로 단어가 분리되지 않아 단어 정제, 불용어 제거, 단어 정규화 과정을 계속 거쳐야 하잖아요..그런데 원본 리뷰 데이터가 수천, 수만건일 경우 수천 수만건을 개인이 일일이 하나씩 봐가면서 전처리 작업을 진행해야 할 것 같은데 이 과정이 너무나 시간이 많이 소요되고 힘든 것 같습니다.데이터 전처리시 이렇게 하나씩 데이터를 봐가면서 정제작업을 거치는 것이 정상적인 진행과정인지 너무 궁금합니다. ㅠ질문 읽어주셔서 감사합니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 2유형 관련 문의드립니다.
안녕하세요 선생님.작업형 2유형 답안 제출 관련 문의 드립니다.작업형 2유형 문제를 해결하면서 선생님이 알려주신 단계대로 차근차근 진행하여 csv예측 파일까지 잘 작성했습니다.마지막에 작성된 csv파일을 확인하는 Print(pd.read_csv("result.csv))구문만 빼고 전 단계의 print구문은 다 주석처리 하고 마지막에 최종 1회만 제출했습니다.앞 단계의 print구문들은 주석처리 하여도 제가 작성하였던 코드만 실행된 상태로 제출되면 감독관이 체점하는대는 아무 문제 없는게 맞을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
lightgbm 예측값 오류?
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요이번 시험에서 작업형2 문제 풀이 과정입니다 Test 데이터에 총 3개의 범주형 컬럼이 존재 하였습니다. 월, 요일, 네임 이때 각 고유값은 12,7,2 여서 따라서 월과 요일은 라벨인코딩 / 네임은 겟더미즈 로 각각 하였습니다. 이후 모델 성능을 비교파기 위해 랜덤포레스트와 라이트지비엠을 사용 하였습니다. 랜포리그레서로 학습시키고 예측할 땐 random_state 만 고정한채 mae로 평가하였더니 140 정도였고 XGBM리그레서로 학습시키고 mae로 평가하니 108 정도 나왔습니다. 이때도 딱히 하이퍼 파마미터튜닝은 진행하지 않았습니다. 따라서 test 데이터를 xgbmregressor에 적용하여 예측한 결과를 제출하였습니다. 다만 여기서 lightgbm 을 사용하신 분들이 랜덤포레스트에서는 없었던 음수값이 예측에 나왔다고 하는데, 전처리를 동일하게 하고 평가도 좋게나온 모델의 결과가 저렇게 오류로 나올 수가 있나요..?그냥 남들 다 쓰는 랜포 쓸걸 괜히 lightgbm 알아서 쓴거 같다는 기분이 듭니다 ㅜㅜ
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
이번 빅분기 실기 8회 (오즈비 관련)
이번 시험에서 오즈비가 또 나왔습니다. 지난 시험에서는 특정 변수값이 1 증가할때의 오즈비를 구하라고 나와서 다음과 같이 구했었습니다. import numpy as npnp.exp(계수) --> 답 이번 문제에서는 특정 변수값이 5 증가할때의 오즈비를 구하라고 나왔습니다.그러면 답이 아래와 같나요? np.exp(5*계수)
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
8회 빅데이터분석기사 실기 작업형 2
안녕하세요.8회 빅데이터분석기사 실기 작업형 2에서 다른 모델들보다 xgboost 패키지에 XGBRegressor가 성능이 훨씬 좋길래 그 모델을 사용해서 제출했습니다.Future Warning이 나왔지만 별 생각하지 못하고 제출했는데, 시험장 나오고 나서 생각해보니 너무 욕심이었나 생각이 듭니다.결과 파일을 제출한 후, 다시 파일을 확인했을 때, 이상은 없었습니다만 Warning이 나오면서 코드를 다시 확인하라는 메세지가 있어서 혹시 몰라 질문드립니다.아시는 분은 꼭 답변 부탁드릴게요.감사합니다!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
8회 빅분기 실기 2유형 시험간 헷갈리는 부분
MinMaxScaler + one-hot encoding lightgmb(n_estimator = 300) +mae 사용하여 예측하였는데 (mae : 93~94) 예측값이(인원수) 2096개(?)중에서 음수가 11개 나오더라고요.이렇게 예측값이 양수가 나와야하는 경우 보통 음수에 대해 후처리를 한번 더 해서 내보내는건지, 아니면 상관이 없는건지 궁금합니다...
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
8회 시험 작업형2
선생님 제가 풀었을때는 pred값이 소수 셋째자리까지 나오는데 시험 제출예시에서는 깔끔하게 정수로 되어있길래 마지막에 pred.astype(int)로 바꿔서 제출했는데 혹시 문제될까요 ㅠ
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
8회 답 복기
작업형1313 / 239 / -0.026 작업형2lightgbm 하이퍼파라미터튜닝으로mae 92정도 작업형3-(1)12 / -0.456 / 7.919 작업형3-(2)2.129 / 0.313 / 104.873 랜포보다 lgb가 성능이 더 좋길래 썼는데 나중에 pre 데이터 min값 찍어보니 음수 나오더라구요 ㅠ 이러면 감점 혹은 0점 처리될까요...?