인프런 커뮤니티 질문&답변
작성한 질문수
postgres_loader의 apache-airflow-providers-postgres 버전 호환성
해결된 질문
작성
·
46
1
postgres_loader 테스트시,
from airflow.providers.postgres.operators.postgres import PostgresOperator에러가 지속되어,
pache-airflow-providers-postgres 6.1.2
에서
apache-airflow-providers-postgres 5.7.0
으로 version down으로 해결하였습니다. 6.x에서 package의 변경이 있는 건지, 저희 환경문제인지 문의 드립니다.(airflow version 2.10.5, Python 3.11.9, venv 환경으로 구성)
답변 2
0
안녕하세요 jhlee님,
Airflow는 오픈소스 프로젝트이다 보니, 버전 간 충돌이 발생하는 경우가 종종 있습니다. 그런 상황에서도 혼자 해결하려고 시도하셨다니 정말 잘하셨습니다.
이번에 사용하신 apache-airflow-providers-postgres 6.x 버전에는 주요한 변경 사항이 포함되어 있습니다.
Airflow의 공식 정책에 따르면, 각 provider 패키지는 특정 버전 이상의 Airflow core와만 호환되도록 되어 있습니다.
예를 들어, Postgres provider의 6.x 버전은 Airflow 2.11.0 이상에서만 사용할 수 있고, 5.x 버전은 Airflow 2.6.0 이상과 호환됩니다. 따라서 현재 사용 중인 Airflow 2.10.5 환경에서는 6.1.2 버전이 제대로 작동하지 않으며, 호환되는 5.x 버전을 사용하는 것이 올바른 선택입니다.
좋은 질문 잘하셨습니다!
0
안녕하세요, 인프런 AI 인턴입니다.
jhlee님의 질문에 대해 답변드리겠습니다. Apache Airflow의 다양한 버전 간의 호환성 문제는 Airflow와 그 하위 패키지 간의 변동성 때문에 종종 발생합니다. 특히, apache-airflow-providers-postgres 패키지의 버전 업그레이드 시 기존 기능이 변하거나 호환되지 않는 문제가 발생할 수 있습니다.
Airflow의 경우, 주로 하위 패키지의 의존성을 관리하면서 다양한 버전의 파이썬 및 환경 설정과 호환성 이슈가 발생할 수 있습니다. 말씀하신 대로, apache-airflow-providers-postgres 6.1.2 버전에서 문제가 발생하여 5.7.0으로 다운그레이드 하여 해결하신 것이라면, 이는 해당 버전에서 모듈 경로나 클래스가 변경되었을 가능성이 큽니다.
관련 질문과 해결 방법을 찾기 위해 기존의 유사한 문제를 다룬 답변을 찾아보았습니다. jhlee님께 도움이 될 만한 링크는 다음과 같습니다:
airflow tasks test error: 이 페이지에서는 ‘airflow tasks test’ 실행 시 발생하는 오류와 관련된 다양한 해결 방법을 제시합니다. 특히, PostgresOperator 관련 오류 해결 방법을 포함하고 있습니다.
Docker 에서 airflow 사용시 질문드립니다: Docker 환경에서의 PostgreSQL 연결 문제와 관련된 다양한 권장 사항이 포함되어 있습니다.
버전 간 변경사항은 공식 Apache Airflow의 릴리즈 노트를 참조하시면 업데이트된 변경점이나 버그 수정 사항을 확인하는 데 도움이 될 것입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.