묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
판다스기초 axis 관련 질문
행 또는 컬럼 삭제 / count 사용할 때 axis 구분이 들어가는데요.행 또는 컬럼 삭제 시 axis =0 : 행 삭제 / axis = 1 : 컬럼 삭제 인데,count 내장함수 사용 시 axis = 0 : 컬럼 기준 / axis = 1 : 행 기준 으로 확인이 되는데axis의 구분 사용 방법을 경우에 따라 다르게 사용해야 하는건지아니면 일반적인 규칙이 정해져있는 건지 궁금합니다.삭제 시 행, 컬럼 구분과 count 사용 시 행, 컬럼 구분이 다른 것 같아서 문의드립니다.
-
해결됨실리콘밸리 엔지니어와 함께하는 Apache Airflow
PostgresOperator로 대량의 데이터 업로드 방법 질문드립니다.
안녕하세요 선생님 🙂 PostgresOperator 질문 드립니다. DB table에 데이터를 갱신하는 task를 혼자 만들어보고 있는데요.PostgresOperator는 executemany와 같은 기능을 지원하지 않는 것으로 확인했습니다. airflow에서 대량의 데이터를 insert / update 하는 방법이 있을까요..?
-
미해결데이터 분석가, IT 엔지니어에게 필요한 MySQL 마스터 코스!
cctv.csv파일을 불러오는게 잘 안돼요
cctv.csv를 불러오는 과정이 말로만 설명이 되있어서 할려구 하는데 csv파일로 바꿧는데도 밑의 사진처럼 떠요 ㅠ 어떻게 해야하나요?
-
해결됨실리콘밸리 엔지니어와 함께하는 Apache Airflow
강의 할인 프로모션 질문입니다..
선생님 완강 이후 커뮤니티 이벤트 참여 신청했는데요이벤트 끝난건가요? ㅠ https://www.inflearn.com/course/%EC%8B%A4%EB%A6%AC%EC%BD%98%EB%B0%B8%EB%A6%AC-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EC%99%80-%ED%95%A8%EA%BB%98%ED%95%98%EB%8A%94-apache-airflow/news
-
해결됨빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
수강기간 연장 가능할까요?
안녕하세요 ㅎㅎ 수업을 잘 듣고 있습니다. ^^ 직장생활 하면서 듣기가 쉽지 않네요 ㅜㅜ 수강기한이 얼마 남지 않아서 가능하다면 연장이 가능할까요? 감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
슬라이싱 연습 마지막 앞 단어 관련 질문
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요앞서 질문 사항 중 슬라이싱 연습 "마지막 앞 단어" 관련하여listbox[7:8]listbox[-2:-1]등으로 풀이 방법을 알려주셨는데요. listbox[-2] 해도 상관 없다는 답변을 앞서 질문 주신 분이 있어 확인하였습니다.추가로 print(listbox[7:8]) print(listbox[7]) print(listbox[-2]) print(listbox[-2:-1])위 처럼 조회 시, 아래와 같은 결과값이 나왔는데요.['공감'] 공감 공감 ['공감']결과값은 공감 이란 글자를 불러오는 건 맞지만 리스트 형태로 나오는 경우와 단순히 안에 값만 가져오는 경우로 나뉘는거 같은데요.동일한 타입으로 출력된다고 봐도 되는건지 문의드립니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시험 보고 난 이후
선생님 안녕하세요 ㅎㅎㅎ선생님 덕분에 마음 한시름 놓고 시험결과 발표일만 열심히 기다리고 있는데요!빅데이터분석가 직무쪽으로 전향하고 싶은 마음도 많이 들게 되었는데어떻게 준비해서 가면 좋을지 조언받고 싶어서 이렇게 글을 쓰게 되었습니다!인터넷에 나와있는 빅데이터 관련 강의들 종류도 양도 상당하다보니 어떤 종류로 어떻게 공부해서 준비해야 비전공인 저도 이쪽 직무에 취업할 수 있을지 궁금합니다..! (선생님 빅분기 시험 외에도 데이터분석 관련 프로젝트나 툴 사용 등의 영상도 올려주시면 안될까요?! ㅎㅎㅎ)
-
해결됨실리콘밸리 엔지니어와 함께하는 Apache Airflow
hook 질문드립니다.
안녕하세요 선생님 hook 사용에 대한 질문드립니다! [질문] connection 기능을 사용해서 DB에 연결하여 데이터 처리도 가능할 것으로 보이는데요. hook을 사용하는 이유가 궁금 합니다. 사용 이유가 있다면 어떤 경우에 사용하면 좋은지도 궁금합니다. 감사합니다 🙂
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7회실기 작업형2
안녕하세요 선생님 덕분에 7기 시험 잘 마무리 했습니다 감사합니다 다름이 아니라 이번 시험에서 lgbm을 사용했는데 끝나고 다른 사람들 말 들어보니 lgbm은 결과에 음수값을 생성한다 하더라고요 제가 처음 랜덤포레스트 돌렸ㅇㄹ때 rmse값이 100만 정도 됐고 lgbm으로 돌리니 83만정도 돼서 lgbm으로 제출했는데 40점 만점은 아니더라도 점수를 아예 못 받지는 않겠죠?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
스케일링 순서 궁금합니다
강의에서 전처리 - 스케일링-인코딩 그리고 그 후에 데이터 분리를 했는데 어떤분들은 검증용 데이터 분리를 하고 나서 스케일링을 하기도 하더라구여 두 방법의 차이가 있을까요~?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
스케일러 적용방안에 대한 질문
시험 잘 치뤘습니다. 그냥 문득 궁금한 점이 있어서 질문글을 올립니다.스케일러를 적용할 때 train데이터 대상으로 fit_transform을 한 뒤,test 데이터를 대상으로는 transform을 하는 것으로 알고 있습니다.그런데 문득 든 생각은, 저희가 작업할 때 train_test_split이라는 함수를 쓰는데여기에서 x_tr, x_val, y_tr, y_val로도 나눕니다.그래서 스케일러를 x_tr대상으로 만들고(즉 x_tr을 대상으로 fit_transform)x_val과 test셋에서는 transform을 해줘야하는게 아닌가라는 생각이 들어서 질문드립니다
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업 2유형
minmax - 라벨인코딩 - 데이터분리 (테스트사이즈0.2) - 랜포 후에 RMSE 돌렸더니 700만대가 나왔는데 여러 커뮤니티 참고해보니 400만대부터 900만대까지 다양하더라구요... 이게 데이터분리를 하면서 값이 다르게 분리되어서 그런거죠? 700만대가 나왔다고해서 틀린답은 아니겠죠? 아 그리고 마지막에 pd.read_csv(확인만 해보고 주석처리 했습니다)는 제출 안해도 상관없는건가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7회/ 작업형2번 문의(lightgbm)
안녕하세요 이번 7회 작업형 2번관련하여 문의를 아래와 같이 드립니다 < 문의내용 >1. 회귀 / 분류 중에 어떤 문제 였는지 ? lightgbm regression 으로 문제를 풀이 하였는데, "데이터전문가포럼' 네이버 카페에서 조회하니 랜덤포레스트 classifier 로 문제를 풀이 하는 분들이 있어서제가 완전히 틀린 것인가 싶어서 문의드립니다 2. regression으로 문제를 풀이하고, pred를 작성하였는데예측하는 값이 amount(금액) 값이 '- 값이 발생' 해도 문제가 없는지 ? 상식선에서는 예측하는 값이 amount의 경우는 무조건 양의 값이 나와야 하는데, '음수 값이 발생해서 의문' <예상구성코드>*amount 값을 예상하는 내용*train / test 2개 파일만 제공하였음 train Set에서 POPamount 값에 대해서 target으로 변경하여 pop 처리lebel Encoding Model_Selection > train_test_splitLightgbm-regressionmax_depth / N_estimater / Learning Rate 만 조절Sklearn > metrics > MSE MSE ** 0.5 로 RMSE 구성
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7회 실기 제가 작성한 답들 공유해봅니다...
작업형1-1 표준화 문제 : 1.083작업형1-2 상관관계 : 4.809작업형1-3 이상치 갯수 구하기 : 224작업형2 회귀 : RMSE 값이 대략 473만....(RandomForestRegressor로 했는데 너무 커서 긴가민가하여 xgboost나 lightgbm 써도 8~900만대라 그냥 제출)작업형3-1-1 오즈비 : 0.754작업형3-1-2 잔차이탈도 : 3.008 (이건 모르겠어서 로지스틱회귀 result에서 Intercept의 z값 적음)작업형3-1-3 error rate : 기억이 나지 않음....작업형3-2-1 결정계수 : 0.901작업형3-2-2 회귀계수 : 0.985직업형3-2-3 가장 높은 p-value : 0.052 이렇게 제출했는데 60점 이상은 나오겠죠....ㅎㅎ 이번 시험 합격해서 졸업했으면 좋겠네요ㅎㅎ 선생님 덕분에 그래도 생각보다 많이 풀게되서 기분이 좋았습니다. 감사합니다~
-
미해결실리콘밸리 엔지니어와 함께하는 Apache Airflow
section 2-hook 강의 질문
docker on window를 사용하고 있습니다.docker 에 airflow를 올리면, 자체적으로 postgres db 가 올라가는데요. 강의 8:05 에서 말씀하시는게 이것인듯 한데요. 이것과 dbeaver를 연결하려고 하면 에러가 납니다. docker yaml 파일에 나와있는대로host : localhost ( 이것을 host.docker.internal 로 바꾸어도 같은 에러가 납니다)database: airflowusername : airflowpassword: airflow 으로 하고 테스트 커넥션을 하면 아래와 같은 에러가 납니다. 별도로 postgres db를 만들어서 연결하는 건 정상적으로 되는데, 왜 airflow 자체적으로 만들어지는 postgres db에 접속하는것만 오류가 나는 것일까요? 이 db에 접속을 해야 강의 8:09에 보이는 각종 table 들에 접근이 가능한 것 같은데요
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7회 실기 질문드립니다!
이 강의를 알게 되어서 이번 시험을 준비하는데 있어 정말정말 큰 도움이 되었습니다!!! 정말 감사드립니다!!! 시험을 보고 나온 시점에서 궁금한 점이 있는데요,get_dummies를 사용할 때 drop_first=True를 train,test에 모두 적용해도 되는지 궁금합니다!또 걱정이 되는 부분은 작업형 2유형에서 모델 성능이 너무 작게 나왔다는 점입니다. RMSE값은 기억이 나지 않지만 r2값이 0.6언저리로 낮게 나왔습니다... 성능이 낮다는 이유로 0점이 나온 경우가 있는지 궁금합니다ㅠㅠㅠ
-
미해결[실전]텍스톰 TEXTOM 실전 강의: 빅데이터 논문 작성을 위한 텍스트 분석/텍스트마이닝
데이터 정제 관련
강의를 들으며 급하게 연구동향분석을 진행하고 있습니다. 그런데 데이터 정제, 편집 부분부터 현제 텍스톰의 메뉴와 다소 차이가 있는데, 텍스톰이 바뀐건지요? 아니면 제가 뭔가를 잘못 하고 있는건지....그리고 정제요청 후 이틀동안 계속 '정제중'으로 뜨는 건 왜 그럴까요? 데이터는 40kb정도 입니다. 도와주세요~
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 유형 2번 질문드립니다.
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요 이번 빅데이터분석기사 7회 응시생입니다! 다름아닌 RMSE 값이 900만대가 나왔는데 오답처리될까요? 다른분들은 440만이라 불안해서 질문드립니다..
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 시험 질문있습니다!
선생님! 안녕하세요 ㅎㅎ 선생님 덕에 작업형 3-1 소문제 두개빼고는 다 제대로 풀 수 있었어요 넘 감사합니다💜 두개는 그냥.. 느낌대로 우선 제출은 하고왔습니다🤣🤣 작업형3 아예 모르는부분으로만 나올까봐 진짜 너무너무 걱정했는데.. 너무너무 감사합니다ㅠㅠ 곧 후기 제대로 남기겠습니다!!!!근데 제가 여쭙고싶은게 있는데요!1.작업형2 제출파일 pred가 모두 소수점 밑으로 끝에 e가 붙는데 그래도 괜찮은것 맞을까요?2.강한 상관관계 = 양과 음의 상관관계 모두 생각해서 절댓값으로 확인해 변수를 찾았는데 강한 양or음의 상관관계가 아니고선 이렇게 해도 되는것 맞을까요?!
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7회 2유형
범주형 변환할때train = pd.get_dummies(train)test = pd.get_dummies(test) 이렇게 코딩했는데 이 두줄이면 변환 된거죠..??(cols변수에 범주형 담지 못하고, 통째로 괄호안에 써버렸네요..)info찍어서 범주형없는거 확인했고,rmse 270만, r2스코어 0.92 뜬것도 확인했는데도 원핫 처음써봐서 여쭤봅니다.(라벨만 연습했었습니다 ㅠㅠ) 어이없는 질문 받아주셔서 감사합니다