묻고 답해요
141만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결Airflow 마스터 클래스
스케줄링, dag removed원인 질문입니다.
안녕하세요 강사님,2가지 질문이 있습니다. 데일리 스케줄일 때 금년 11월을 돌린다고 가정하면 기간은 2024/11/01~2024/11/30일입니다. start_date=20241101, end_date=20241130으로 설정하였고, dag를 11/17일에 실행한다고 했을 때, 11/1일부터 17일까지 다 돌면 11/18~11/30일까지는 날짜가 바뀌면 알아서 schedule_interval(매일 1시 등)에 따라 자동으로 task가 실행됐음 좋겠는데 현재 재가 테스트 해본 dag에서는 17일까지만 돌고, 11/18일이 되어도 task가 자동으로 실행이 안되네요. 11/19일이 되어도 18일날짜부터 중지되어있습니다.비슷하게 검색했을 땐 catchup을 변경하는 방법이 있는것 같은데 이건 과거 날짜일 경우에만 해당하는것으로 보입니다. (참고로 위 dag에선 catchup=True로 했습니다만 18일은 안돌아갑니다) 저처럼 미래 날짜도 자동화하고 싶을 때 config설정 변경 등 혹시 방법이 있을까요?날짜별로 task를 돌리는 dag가 있습니다. 특정 task가 어떤 날짜에는 success가 되지만 어떤 날짜는 job status가 "removed" 되었다고 하여 task가 실행되지 않습니다. failed라고 뜨면 log라도 확인해볼텐데 removed라 log로 원인파악할 수도 없습니다 (could not read served logs: request URL is missing an 'http://' or 'https://' protocol라고만 뜹니다) 이런 상황일 때원인을 파악할 수 있는 방법이 있을까요? dag를 실행하는 code가 문제라고 하기에는 동일 코드로 실행한 dag가 또 특정 날짜는 잘 돌아가고, 또 어떤 날짜는 안돌아가는 증상이라 원인을 찾기가 어려워 여쭤봅니다. 제가 유추하는 원인으로는 동일한 dag_id로 code를 조금 바꿔서 다시 실행시켰었는데 이런 증상이 처음 나타났습니다. 동일한 dag_id를 재실행 할 때 주의할 점이 있나요? (기존 dag는 airflow에서 삭제해고 다시 올렸는데도 removed되는 현상이 나타나네요)
-
미해결2주만에 통과하는 알고리즘 코딩테스트 (2024년)
[Python] 백준 1090번 문제
n = int(input()) list = [list(map(int, input().split())) for _ in range(n)] fi_answer = [int(1e6)] * n #초기 배열 생성 x_list = [] y_list = [] for x, y in list: #후보군 리스트 생성 x_list.append(x) y_list.append(y) for x_pnt in x_list: for y_pnt in y_list: answer = [] for x, y in list: #입력 x, y #어느 한 점에서 입력위치로부터의 거리 최솟값 계산 answer.append(abs(x_pnt-x) + abs(y_pnt-y)) # ex) [1,4,6,7], [0,2,3,4] answer.sort() distance_cost = 0 #k번째 마다 이동 비용의 최소값 계산 for i in range(n): distance_cost += answer[i] #1~k if fi_answer[i] > distance_cost: fi_answer[i] = distance_cost print(*fi_answer)안녕하세요! 백준 1090번 문제에 대한 질문입니다. 다음과 같이 짠 코드에서 IDE에서는 결과가 잘 나오지만, 백준 제출했을 경우 틀렸습니다만 나옵니다. 아무리 수정하고 찾아봐도 이유를 잘 모르겠어서 문의드립니다.
-
미해결[2024 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
셀레니움 강의 자료
안녕하세요 선생님!실전편 강의 수강 중인데 셀레니움 PDF자료 받을 수 있을까요?직접 보면서 써야 공부가 더 잘되는 고지식한 타입입니다 ㅠㅠ패드에 옮겨서 노트 필기하면서 제 것으로 만드는 시간이 학습효과가 좋아서요! (저작권 엄수, 다른목적사용 X) 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
분류 모델 학습 강의에 대하여 질문드립니다.
안녕하세요 강의에서, data info를 확인하고 여러 숫자형, 문자형이 존재하였는데 문자형은 무시하고 숫자형만을 , 또 어떤 숫자에 대한 스케일링 없이 학습을 하였는데 이것은 강의를 위해 축소한 것인가요 혹은, 이것만 해도 충분한것인가요? 또한 실전에서 스케일링, 문자형 숫자형 선택 파라미터 수정, 모델선택등 모두 고려하면 수많은 비교를 해야할것 같은데, 실전에서는 모든걸 비교할 시간이 주어지나요? 혹은 시험자가 임의로 판단하여 어떤 데이터는 별로 영향이나 필요없어 보일거 같다는 판단하에특정 컬럼을 배재하거나 스케일링은 생략하거나 하나요? 감사합니다. 모든
-
해결됨직장인에게 꼭 필요한 파이썬-아래아한글 자동화 레시피
win32com 모듈을 못 찾음
맨 첫 강의에서 win32com 모듈을 찾지 못한다고 나옵니다. 질문에서 찾아보니 한글 오토메이션이 등록이 안 되어 있어서 그렇다고 하는 글을 봐서 해결책을 따라해 봤지만 그것 마저 안 됩니다^^;; 어떻게 해야 할까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
sumsum
sumsum을 하는 이유는 뭘까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
5-3 랜덤포레스트 평가지표 출력 결과 이상
안녕하세요. 작업형 2 모의문제 3 코드 작성후 랜덤포레스트 평가지표 (accuracy, f1_score, roc_auc score) 출력결과가 모두 1.0 으로 나오는데, 혹시 이런 경우가 있나요? (수업에선 0.7~0.8대로 출력) 없다면 문제가 뭐인지 궁금합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
범주형 변수일 때 formula 질문있습니다
회귀분석 강의에서 범주형 변수가 있을 때 1) 그냥 ols 돌려도 된다2) 원핫인코딩 한 담에 ols 돌려도 된다 라고 말씀 주시는 것 같습니다.근데 또, 다른 강의에선 formula 생성 시 범주형 변수 일 때 C로 감싸라고 하시기도 하셨어서 조금 헷갈리는 것 같습니다. 어떤 차이가 있는지요 ?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
로지스틱회귀분석에서 패널티
로지스틱회귀분석에서 패널티를 줄때 입력 코드는 어떻게 쓰나요? 패널티부과안함일 경우는 그냥 아무것도 안하면 되죠~~~
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
rmse
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요sklearn.metrics 안에 root_mean_squared_error이 있던데 이거로 rmse 구하면 안되는건가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 1 모의문제1 - 문제 1
70%의 데이터를 추출하는 과정에서 그냥 df[:int(len(df)*0.7)을 한 것과 df.loc[int(len(df), : ]과 결과값에 차이가 존재하는 걸 확인했습니다. 왜 차이가 발생하는지 알 수 있을까요? 이전 작업까지의 결과물은 수치가 정상적으로 나오는 것을 확인했습니다. df[:int(len(df)*0.7) 의 경우 df.loc[int(len(df), : ]
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 모의문제2 ID 삭제 여부 및 성능 기준
안녕하세요 선생님, 1) ID 삭제 여부ID는 삭제해도 되고, 삭제 안해도 무방하며 이 경우 가중치가 낮게 적용이 된다고 답변 주신 것을 보았습니다. 그런데 모의문제1번과 2번을 풀어보니 ID를 포함하여 학습시켰을 때 성능 점수가 높더라구요...^^;; 무슨 연관이 있을까요..? 시험에서도 ID 포함해도 문제가 되지는 않겠지요? 2) 회귀 성능 기준r2 점수가 0.18이 나왔는데 이런 결과가 나와도 시험에서 점수 받는데 문제가 없을까요? 실무에서는 낮은 점수라고 볼 수 있을 것 같은데 성능을 높이기 위해 별도로 조치하지 않고 제출해도 되는지 궁금합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
5회 기출 1번 문제 2L 가격 0 제외 drop써서 할 수 있는 방법도 있을까요?
5회 기출 1번 문제 2L 가격 0 제외 drop써서 할 수 있는 방법도 있을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시험 방향
안녕하세요, 선생님. (비전공자, 파이썬 사용 경험 X) 이번에 일정상 18일부터 빅분기 실기 공부가 가능한데12일의 시간이 남네요. (시간 올인 투자 가능하긴 합니다.) 12일 동안 공부한다고 가정할때빅분기 실기 합격 가능성이 있을까요..?? 혹시 추천하시는 방법이 있으시면 말씀 부탁드립니다 ㅜㅜ..
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
원핫인코딩이 실행이안됩니다.
#원핫인코딩 train = pd.get_dummies(train, columns=cols) test = pd.get_dummies(test, columns=cols) 이렇게하니까 ValueError: Boolean array expected for the condition, not object이런 오류가 계속 나는데 왜그런가요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시험칠 때, 코드1 or 2 방식 문의
코드2의 방식이 좀 어려운거같은데 ㅠㅠ시험칠 때 비교적 간결한 코드1의 방식으로 해도 되나요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 모의문제2 실제 제출 파일 질문
model = RandomForestRegressor() model.fit(X_tr,y_tr) pred = model.predict(y_val)이렇게 해서 검증데이터로 예측해서 모델 평가하고 실제로 제출할 떄에는 pred = model.predict(test) 로 예측해서test_id, pred로 형성된 데이터프레임을 제출하는게 맞는거죠??
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
풀이2번 방식 문의
X_tr, X_val, y_tr, y_val = train_test_split(train[cols], target, test_size = 0.2, random_state = 0) 이렇게 했으면 X_tr에 train[cols]가 들어가게 되는거같은데모델 학습시model.fit(X_tr) 이렇게만 해줘도 안되나요?꼭 model.fit(X_tr[cols])까지 한번더 해줘야하나요?
-
미해결[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
drop과 dropna차이가 뭔가요?
모의문제1,2 유형 풀고 있는데 문제1에서는 dropna가 주로 나오고 유형2에서는 drop이 나오던데 drop과 dropna의 차이가 뭔가요?
-
미해결세계 대회 진출자가 알려주는 코딩테스트 A to Z (with Python)
7576번 풀이 코드 관련 질문
안녕하세요 선생님. 7576번 토마토 문제를 풀기 위해 코드를 짜서 제출했는데 자꾸 틀렸다고 처리가 되어서 어디가 문제인지 궁금하여 질문드리려 합니다. time matrix 대신에 visit matrix를 쓰는거 말고는 예시답안과 거의 일치하는것 같은데 어디가 문제일까요?import sys from collections import deque def bfs(cands): global data, N, M, min_dist, dx, dy visit = [[False] * M for _ in range(N)] q = deque() for (i,j) in cands: q.append([i,j,0]) visit[i][j] = True while q: x,y,dep = q.popleft() min_dist[x][y] = min(min_dist[x][y], dep) for di, dj in zip(dx,dy): ni = x + di nj = y + dj if (0<= ni < N) and (0<=nj<M) and (not visit[ni][nj]) and (data[ni][nj] == 0): q.append([ni,nj,dep+1]) visit[ni][nj] = True dx = [0,1,0,-1] dy = [1,0,-1,0] M, N = map(int, input().split()) data = [] for _ in range(N): data.append(list(map(int, input().split()))) min_dist = [[1e6]*M for _ in range(N)] cands = [] for i in range(N): for j in range(M): if data[i][j] == 1: cands.append((i,j)) if data[i][j] == -1: min_dist[i][j] = -1 bfs(cands) val = max(max(min_dist)) if val == 1e6: print(-1) else: print(val)