이전 강의에서도 그랬지만 소리가 너무 작아요

Airflow 말고 다른 강의에서도 소리가 작았나요? 제 컴퓨터에서만 확인해보고 폰에서는 확인해본 적이 없었네요. 오늘 중으로 챕터 하나를 골라서 소리를 키워보고 업로드해 볼테니 소리의 크기가 어떤지 확인부탁드리겠습니다.

실습 code 강의자료 문의

강의 소개에 보면 GitHub 링크가 있습니다. 아래를 참고하세요:https://github.com/keeyong/spark-bootcamp

강의자료 다운로드 문의

제가 업로드하는 걸 잊어버리고 있었습니다. 알려주셔서 감사드립니다. 처음 "과정소개" 섹션 밑에 "강의 자료"라는 챕터를 만들고 거기 압축 파일을 하나 올렸습니다.(사진)

nps.csv 파일 위치

질문 감사드립니다. "Snowflake 환경 익히기 실습" 강의에서 다운로드 받으시면 nps.csv 파일이 다운로드됩니다(사진).계속 문제가 있다면 알려주세요!

강의가 잘못 올라온것이 있네요. => 48강

48, 49장에 수업 노트 내용에 중복이 있군요. 원래 하나의 챕터로 만들었다가 내용이 너무 길어 두 개로 분리하면서 그 부분을 정리하지 못했네요. 수정했습니다. 또 비슷한 이슈 보면 알려주세요!

Airflow 웹 UI에서 파일 디렉토리 구조 확인이 가능한가요?

필요하다면 그 구조를 노출해주는 DAG나 Plugin을 만들어볼 수 있습니다만 Airflow Web UI 자체에 그런 기능은 없는 걸로 알고 있습니다.보통 내용을 확인하려면 Airflow가 동작하는 서버로 로그인해서 살펴보는 것이 일반적이라 할 수 있습니다. Docker Container를 쓰는 환경이라면 해당 Docker Container 안으로 로그인해보는 것이구요. 클라우드 기반의 Airflow 서비스를 쓰는 경우라면 서버 안으로 들어가서 체크하는 걸 허용하지 않지만 대신 Airflow 서버내 dags 폴더로 맵핑되는 폴더를 클라우드 스토리지 등에 구성하고 그걸 미러링하는 것이 일반적입니다. 질문 감사드립니다. 혹시 위 답변에 추가 질문이 있다면 알려주세요

본문과 같은 메시지가 뜨면서, 어느 순간부터 계속 안되는데, 어떤 이유일까요 ㅠㅠ

말씀하신 것처럼 마지막에 보면 아래와 같은 에러 메시지가 있습니다.This session does not have a current database. Call 'USE DATABASE', or use a qualified name.Snowflake Connection을 Airflow UI에서 설정할 때 database 항목을 설정했는지 한번 확인해보실래요? 거기에 dev라고 설정이 되어야 하는데 그게 빠지면서 현재 연결에 데이터베이스 설정이 안되는 것이 아닌가 싶습니다.

yfinance 주식 읽어 오기 처음 중, no module named helpers 에러

질문 감사드립니다. helpers는 외부 모듈이 아니구요. 제가 제공한 GitHub Repo에 있는 모듈입니다. 이전 실습에서 자주 사용되던 몇 개의 함수를 재사용하기 위해서 util.py라는 파일을 만들었고 그걸 helpers라는 폴더안에 저장했습니다. 그러면 util.py에 정의된 함수들을 사용하기 위해서 아래와 같은 util을 임포트할 수 있습니다.from helpers import util이걸 앞 섹션의 "앞서 Airflow 예제를 개선해보자 (v6)" 챕터에서 설명했었는데 그 부분 다시 한번 보시는 걸 추천드립니다. https://inf.run/YqWFjairflow-bootcamp repo가 존재하는 폴더에서 아래 복사 명령을 실행하고 나면 해결되리라 믿습니다.mkdir dags/helpers cp dags_to_move/helpers/util.py dags/helpers혹시라도 해결이 안되면 알려주세요!

Data Drift 발생시 머신러닝 모델이 동작하지 않는 것의 의미

좋은 질문 감사드립니다. 1. Data Drift 발생 시에 머신러닝 모델이 동작하지 않게 될 것이라는 것은 서비스는 돌아가지만, 머신러닝의 모델이 원래 기대했던 성능을 내지 못할 것을 의미하는 것일까요?맞습니다. 예를 들어 모든 머신 러닝 서비스에는 중요 성능 지표가 있게 되는데 예를 들면 추천한 내용에 대한 클릭 비율 등등 이런 지표가 하락하게 됩니다. 2. 주기적으로 데이터의 분포를 점검하는 필요가 있다면 어느 정도 주기여야 할까요?ML 모델이 어떤 일을 하느냐에 따라 민감도가 다를 듯 한데 일반적으로 추천/검색 등이라면 일주일이나 한달에 한번 정도가 적당하지 않을까 싶습니다. 보통은 ML 모델을 구동하는 API 레이어에서 들어오는 데이터를 전수조사를 하거나 데이터가 너무 많다면 샘플링을 해서 랜덤하게 로그를 남기는 것이 일반적입니다. 사실은 이런 데이터 분포의 점검 보다 선행되어야 하는 것은 모델의 성능 지표의 트렌드를 주기적으로 확인해보는 겁니다. 떨어진다 싶으면 분명히 data drift 같은 이슈가 이유일 확률이 높습니다.3. 데이터의 분포가 어느 정도로 변하게 되면 이상 신호로 받아 들이게 되는 것인가요? 평균의 변화가 아닌 분산의 변화만으로도 이상 신호로 보아야 하는 것인지요? (뭔가 더 복잡하면 데이터의 성격에 따라 이러한 분포의 변화에 대해 반응해야 하는 수준이 다 다를 것으로도 느껴지기도 합니다.)ML 모델의 입력이 되는 모든 피쳐에 대해 체크할 필요는 없구요. 기본적으로는 중요 피쳐들에 대해서만 보면 충분할 텐데 평균과 분산 모두 봐야할테고 상황마다 조금씩 다 다를꺼라 처음에는 앞서 이야기했던 것처럼 중요 성능 지표의 변화를 모니터링하다가 나빠지는게 보일 때 중요 피쳐의 변화를 살펴보는 걸 추천드립니다.요즘 ML 프레임워크들 (예를 들면 AWS의 SageMaker)은 ML 모델의 배포와 모니터링을 지원하는 경우가 많습니다. 이쪽을 최근에는 본 적이 없어서 어떤 제품들이 많이 사용되는지는 모르겠습니다만 data drift 분석을 쉽게 해주는 서비스도 분명히 있으리라 믿습니다. 도움이 되었으면 좋겠고 추가 질문이 있다면 알려주세요!

docker 에러

에러 메시지를 보면 이렇게 되어 있습니다. (사진)이게 아마도 Docker 동작 방식에 있어 Windows와 Mac의 차이점이 아닐까 싶은데 재실행되면서 logs 폴더가 사라지는 것 같네요. airflow-bootcamp가 있는 폴더에서 logs 라는 서브 폴더를 만드세요. 그리고나서 아래 명령을 다시 실행해보세요:docker compose -f docker-compose.yaml up해결 여부 꼭 알려주세요.