안녕하세요 이번에 데이터 엔지니어 직무로 취업을 준비하고 있습니다.데이터 엔지니어가 되기 위해서 여러 강의들을 찾던중에 빅데이터 파이프라인에 대해서 이렇게 자세히 설명해주는 강의는 처음이였습니다. 남은 강의 잘 듣고 데이터 엔지니어가 되기 위해서 열심히 더 공부하도록 하겠습니다.

데이터 전처리시 결측치가 있는 컬럼 삭제하는 경우 삭제의 기준이 있나요?! 영상에서는 기준이 없다고 하셨는데 어떤 기준으로 데이터를 삭제하거나, 결측치를 채우시는건가요?!질문결측치 처리시 데이터를 삭제 혹은 채우기를 하는가 그냥 무작위로 해도 무방한지 궁금합니다. 삭제 시 train데이터의 개수와 비슷한 수를 가지고 있는 데이터를 삭제 하시는건가요?!세션5 작업형2 2번째 문제에서는 결측치가 없는 컬럼(host_id)도 삭제 하셨는데 결측치가 없는 컬럼을 삭제해도 무방한가요?결측치 삭제, 채우기 시 강사님만의 기준이 있으신가요ㅜㅜ

본 강의 5분정도쯤에 단일표본검정은 양측검정이다라고 하셨던거 같은데, 단일표본검정이 양측검정이라는 말이 좀 이해가 안가는데요. 혹시 말씀하신 의도가 scipy의 단일표본검정 API의 파라미터 디폴트값이 양측검정이고 (즉, alternative = 'two-sided'), 단측검정의 단일표본검정을 하고싶으면 파라미터값을 조정해야한다는 의미가(alternative = 'greater 또는 less' ) 맞으실까요?'단일표본검정 = 양측검정'은 아닐 것 같아서요!  

T1-11. min-max scaling / #스케일링 #상하위값부터 코드를 입력하는 방식이 달라서 문의 드립니다. 혹시 이전에 있던 1~10번 문제처럼 코드를 작성할 수 있는 방법이 있을까요?

학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요안녕하세요!의미없는 질문일 수 있으나 계속 궁금해서요..!Q1. 코드 입력할 때 띄어쓰기 관계 없나요?text = "안녕하세요 퇴근후딴짓입니다." text="안녕하세요 퇴근후딴짓입니다."위와같이 = 를 입력할 때 앞뒤로 띄어쓰기를 하지 않아도 결과값이 나오더라구요!Q2. 시험 볼 때는 꼭 띄어쓰기를 해야한다 등의 규칙은 없는거죠?혹시나하여 불안해서 여쭙습니다.Q3. (해도 되고 안해도 되는데) 띄어쓰기를 하는 이유는 코드를 검수할 때 구분이 잘 될 수있도록 위함일까요?커리큘럼 초반인 지금도 자꾸 띄어쓰기 없이 쭉 이어쓰게되네요ㅠㅠ답변 부탁드립니다.

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output_notice 의 커맨드 실행하면 아래와 같은 로그가 나오고 더이상 실행되지 않습니다. 23/10/04 20:52:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 23/10/04 20:52:14 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032 23/10/04 20:52:15 INFO input.FileInputFormat: Total input paths to process : 1 23/10/04 20:52:16 INFO mapreduce.JobSubmitter: number of splits:1 23/10/04 20:52:16 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1696420330687_0001 23/10/04 20:52:16 INFO impl.YarnClientImpl: Submitted application application_1696420330687_0001 23/10/04 20:52:17 INFO mapreduce.Job: The url to track the job: http://218.38.137.27:8088/proxy/application_1696420330687_0001/ 23/10/04 20:52:17 INFO mapreduce.Job: Running job: job_1696420330687_0001위 상태에서 그대로 멈춰있습니다. jps 결과값은 아래와 같습니다.80752 NodeManager 80805 RunJar 80996 Jps 68263 NameNode 80663 ResourceManager 15464 68495 SecondaryNameNode 68366 DataNode 혹시 몰라서 리소스매니저(port 8088)의 스크린샷을 첨부하였습니다.아래는 yarn-site.xml입니다. <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>127.0.0.1</value> </property>  해결할 수 있는 방법을 알 수 있을까요?

안녕하세요!  위와같이 Feature Engineering에서 인코딩 후 데이터를 합칠 때 iloc를 활용하셨는데,iloc는 line을 포함하지 않으니 한 행의 오차 없이, 제대로 train/test 데이터셋을 분리하려면 line+1을 해줘야 하는 게 아닌지 문의드립니다!

train값과 test값 unique값이 다를 경우에는 어떻게 하면 되나요? 저번 수업영상에서 두개를 합친 다음에 인코딩을 진행한다고 하셨던거 같은데 다시 한번 질문드립니다.

7월에 떨어지고 12월 빅분기 실기 시험 땜에 다시 왔습니다 ㅠㅠ 이번에는 합격할 수 있도록 노력하겠습니다 ㅠㅠ

안녕하세요! m1 맥북으로 실습을 하려고 합니다.커뮤니티에 전부 window 관련 질문들만 있어 질문드려요 !맥북 사용시에 권장하는 환경 설정 방법을 알려주실수 있을까요? 다른분 질문에 답변으로 docker는 권장하지 않는다고 하셔서 UTM으로 우분투를 설치해보려고 했는데 에러가 계속 발생해서 어려움에 겪고 있습니다 ㅜ (virtual box 는 m1 맥에서 지원이 안되는 상황이구요..) 

3-61~63 추론-문제8문제8번에서 그룹1과 그룹2의 평균이 각각 0.75, 2.33이라는 것이 아닌가요?만약 그러하다면, 위 내용에 대한 것은 고려하지 않고 바로 두 집단의 평균이 동일하다는 귀무가설을 채택할 수 있다고 볼 수 있는 것인지, 왜 그러한지 궁금합니다제가 위 이미지의 내용을 받아들인 방법이 잘못된 것이라면, 위 이미지의 내용을 어떻게 해석해야하는지 궁금합니다.

안녕하세요 강의를 조금씩 잘 듣고 있습니다. 질문 드릴게 있는데 제목 그대로입니다. 업데이트 해주신 3유형 강의만 들으면 되겠죠?

안녕하세요 수강생입니다.강의듣다가 질문이 있어 이렇게 글남깁니다. 섹션4 - 모의고사1 - 3번 문제의 replace를 활용하거나 map을 활용하는 부분입니다. 저는 .replace.replace.replace를 반복하지 않고 아래와 같이 곧바로 딕셔너리 형태로 코드를 치니 마치 map에 딕셔너리를 리스트로 담은 것처럼 동작을 하던데 올바른 방법인지 모르겠습니다.막상 답이 133으로 동일하게 나오다보니 replace나 map의 차이점 또는 딕셔너리의 올바른 활용(?) 부분이 궁금해지네요. import pandas as pd df = pd.read_csv('members.csv') df = df.dropna(subset=['views']) # print(df.isnull().sum()) df['f3'] = df['f3'].fillna(0) df['f3'] = df['f3'].replace({'silver':1, 'gold':2, 'vip':3}) # print(df.head()) print(int(df['f3'].sum()))

Standalone 환경을 처음 세팅하게 되면 dags 디렉토리가 별도로 없는데 사용자가 직접 만들어주면 되는지 질문드립니다. 그리고 standalone 으로 airflow 서버를 작동시킨 이후 다시 exit 할 경우 자꾸 localhost에 서버가 남아있어 재 실행이 안되서 컴퓨터 리붓을 해야하는데 혹시 다른 방법이 있을까요?아래와 같은 방식으로 PID 서버를 kill 하지만 그래도 안될 경우가 많은 것 같습니다.(수정) 아래 방법은 작동하는 것 같네요ps -ef | grep airflowsudo kill -9 [PID port]

안녕하세요~지난 6회 실기 떨어지고.. ㅜㅜ 이번에 7회 재도전하는 수험생입니다~ 여러 유튜브 강의를 들어보았으나 퇴근후딴짓님 강의가 제일 저랑 잘맞는것 같아서 인프런에서 수강하고 있습니다. 강의를 계속 듣다 보니 추가적으로 업데이트 되는 강의도 많고 섹션 17(3유형)은 곧 삭제 예정이라고 하는데 섹션17은 꼭 볼 필요는 없는건가요? 아직 초반 듣고 있어서요.. 다음은 공부 방향에 대한 질문입니다..지난 6회는 3유형이 신설되었고 비전공자 직장인이라 충분한 연습을 못하고 갔습니다. 1유형은 하필 datetime 변환 문제가 시험장에서 기억이 안나서 2문제 날려버렸고.. 2유형은 베이스라인 외워서 전처리부터 모델링까지 다했음에도 10점 나오더군요.. ㅠㅠ 3유형은 유튜브에 여러 무료 강의와 데이터진흥원의 샘플 문제를 여러 차례 연습했음에도 달랑 1문제 맞은 것 같아요..많은 좌절감을 느끼며 이번에는 최대한 잘 준비해서 꼭 합격하고 싶습니다. 이번 퇴근후딴짓 커리큘럼만 잘 이해하고 숙지하면 충분할까요? 긍정의 에너지와 격려 말씀부탁드립니다~

데이터 전처리시 범주형(object)이면 라벨 or 원핫 인코딩수치형(int or float) 이면 민맥스스켈러 or z스켈러인데 타겟값이 범주형인가 수치형인가에 따라 전처리 방법을 다르게 하는건가요 아니면타겟값과 상관 없이 문자형, 수치형 둘다 해보는건지 또는 문자형 or 수치형 중에 아무거나 해도상관없는건지 궁금합니다! 또 어떠한 경우에 라벨, 원핫, 민맥스스켈러, z스켈러를 사용하는지도 궁금합니다! ex) 작업형2번 모의문제 1번에서는 타겟 값이 수치형 이지만 전처리시 민맥스스켈러 혹은 z스켈러를 이용하지 않고 문자형컬럼을 제거하거나 라벨, 원한 인코딩을 한 이유가 있을까요?타겟값이 범주형이기 때문에 그런건가요..ㅠㅠ파이썬이 처음이라 개념이 잘 안잡혀 있어서 헷갈리네요 ㅜㅜ 

섹션 9 태블로 강의 두번째도 강의 안나옵니다

섹션5 상호 조인 내용이 없어요.외부 조인 내용만 반복됩니다

수강 중 질문이 있으시면 댓글로 남겨주세요!!친절하게 답변해 드리겠습니다!! :)

df.to_csv('data2.csv', index=False)를 할 때 인덱스를 제외하고 저장을 한다면, to_csv 후 이를 다시 read_csv를 해서 불러왔을 때 데이터프레임 내의 record들의 순서는 바뀌지 않고 고정인가요?  SQL을 사용할 때는 Select를 할 때 record의 순서는 계속 바뀌던데 판다스에서는 특별히 조작을 하지 않는 이상 record들의 순서는 바뀌지 않는 것으로 이해하면 될까요?