소개
안녕하세요
LG CNS 데이터 엔지니어 김현진 입니다.
정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고,
특히 데이터 엔지니어를 희망하고 공부하고 싶은 분 들에게 도움이 되고자 컨텐츠를 제작하고 있습니다.
첫 컨텐츠는 Airflow 마스터 클래스로써
데이터 파이프라인을 만들고 관리할 수 있는 핵심 도구를 초보자도 이해하기 쉽게 만들었습니다.
만나서 반갑습니다 ^^
Contact: hjkim_sun@naver.com
강의
전체 1수강평
- Airflow 마스터 클래스
- Airflow 마스터 클래스
게시글
질문&답변
2024.11.19
스케줄링, dag removed원인 질문입니다.
안녕하세요 백미정님!질문주신 내용의 dag 을 모두 첨부해주실 수 있나요?dag 내용을 봐야 자세히 답변이 가능할 것 같습니다. 그리고 질문 내용 중 궁금한게 있습니다. 첫 번째 질문은 당일 날짜를 11월 17일이라 했을 때, 11월 1일부터 17일까지 일괄 수행하고, 18일부터는 스케줄이 도달함에 따라 돌게끔 하고 싶은거지요?
- 0
- 2
- 43
질문&답변
2024.10.15
airflow No host supplied 에러
안녕하세요 Min님주로 저런 증상인 Job 자체가 시작되지 못할 때 로그조차 남기지 못한 현상입니다. 왜 Job 이 시작조차 못했는지는 여러 방법으로 원인을 찾으셔야 해요. 일단 현상은 worker 상태가 정상이 아닌 것 같습니다. 혹시 sudo docker compose up 했을 때 나오는 여러 메시지 중 ERROR 라고 나오는 메시지 없나요?그리고 sudo docker ps 했을 때 컨테이너들의 상태 확인 한번 해주세요. 아래처럼 Healthy로 나와야 합니다. (사진)
- 0
- 2
- 93
질문&답변
2024.10.14
Label 설정 질문드립니다.
안녕하세요 cluelin 님!음.. 내용이 다른 Label을 적용할 때 한 줄로 쉽게 쓰는걸 원하시는거죠?아쉽게도 그런 방법은 없는 것 같습니다. cluelin님께서 쓰신대로 각각 쓰셔야 할 듯 합니다. t1 >> Label('description1') >> t2t1 >> Label('description2') >> t3비슷한 코드를 여러 줄 작성해야 하기에 좀 불편할 수 있지만 유지보수를 생각하자면 보기 편한대로 작성하는 것도 나쁘지는 않습니다 ^^
- 0
- 1
- 37
질문&답변
2024.10.11
Bash Operator & 외부 쉘파일 수행하기 강의 질문
안녕하세요 clulin 님!Base operator를 사용할 때 bash_command 파라미터의 값이 .sh 로 끝나는 경우 스크립트 자체를 Jinja 템플릿으로 해석하려고 시도합니다. 그런데 조건이 있습니다. 쉘 파일을 dags 디렉토리 아래에 두어야 한다는 조건이 있습니다. dags 아래 여러 디렉토리를 계층으로 두더라도 꼭 dags 디렉토리 아래에 쉘 파일이 있어야 인식이 가능합니다. 에러를 안나게 하는 방법은 2가지인데, 1) 쉘 파일을 dags 디렉토리 아래에 두고, bash_command 파라미터를 dags 아래 상대 경로로 작성해주세요. 예를 들어 dags/shells/select.sh 이렇게 두었다면 bash_command를 아래처럼 작성해보세요.bash_command=shells/select.sh이 방법은 select.sh 파일 안에 {{ data_inverval_end }} 와 같이 Template 변수가 작성되어 있을 때 적용할 수 있습니다. 2) bash_command 파라미터 작성시 띄어쓰기를 하나 포함해주는 방법이 있습니다.그럼 .sh 로 끝나지 않고 띄어쓰기가 하나 있으므로 Jinja 템플릿으로 해석하려는 시도를 하지 않습니다.쉘 파일 안에 Template 변수가 없고 단순히 그냥 실행만 하고자 하면 이 방법을 사용하면 됩니다. 이에 대한 설명은 Airflow 가이드 문서 참고해보세요 ^^(사진) https://airflow.apache.org/docs/apache-airflow/stable/howto/operator/bash.html#jinja-template-not-found 답변이 되었을까요?궁금한건 언제든 물어보세요 ^^
- 0
- 2
- 48
질문&답변
2024.10.10
relativedelta 실행 결과 문의
안녕하세요 Byung-ryul kim 님 네 s 붙은것과 안붙은거 모두 가능합니다. months & monthdays & day hours & hourminutes & minute 등등 s가 붙은건 상대적 연산(더하거나 뺄 때), s가 붙지 않은 건 값을 치환해버리는 것으로 원리는 year ~ second 까지 동일합니다.또 궁금하신건 언제든 문의주세요 ^^화이팅입니다!
- 0
- 2
- 39