인프런 커뮤니티 질문&답변
작성한 질문수
여기서부터 제 한계인 것 같습니다 제발 도와주세요
작성
·
302
0
윈도우 사용자입니다.
kafka-connect 설치 부분이 너무너무 어려워요 ㅠㅠ
목표는 kafka,zookeeper -> Docker 컨테이너로 관리
Kafka-Connect, JDBC connector 어떻게든 되기만 해보기,
MySQL-jdbc connector 사용하기 입니다.
실제 사용할 때는 docker 를 이용하여 zookeeper 와 kafka 를 사용할 계획이라서 docker 를 사용 , zookeeper 와 kafka를 컨테이너로 관리할 계획입니다.
하지만 kafka-connect 부분 부터 JDBC 관련 부분까지 4~5일 동안 고생하고 있습니다.
시도했던 방법 1. -> 강의 내용 대로 해보기
저는 curl 명령어가 안되어서 curl.exe 로 진행해봤습니다.
강의에서 처럼 tar 명령어로 압축해제 할 떄
해제 중 아래와 같은 에러가 항상 발생하였습니다.
그래서 그냥 윈도우 마우스 우클릭으로 해제하면
가 발생하고 이 에러는 찾아도 안 나오더라고요
그냥 무시하고 진행하면 (건너 뛰기 ) 누르면
이런 에러가 발생하고
이 게시글의 답변을 참고하여도 여전히 변함없는 것을 확인한 이후에 도저히 설치는 못하겠다. 라고 생각해서 컨테이너로 올릴 수 있는 방법을 찾아보았습니다.
시도했던 방법 2->
https://velog.io/@ililil9482/kafka-db-%EC%97%B0%EB%8F%99-feat.-mysql
이 방식이 제가 생각한 워너비라서 그대로 따라 해도 오류가 발생합니다.
Volume 설정이 제대로 안되는지 블로그 그대로
관리하고 해도
실제 jar 파일이 들어가지 않더라고요!
이외에도 정말 많은 방법을 시도했는데 번번히 실패하거나
저랑 실행 환경이 달라서 포기하였습니다.
검색도 많이하고 많이 읽어봤습니다.
이제는 진짜 죄송한데
혼자 해낼 자신이 없어요ㅠㅠ
윈도우 환경에서
kafka , zookeeper 컨테이너 관리
My-Sql jdbc connector 사용하기
Kafka-Connect, JDBC connector 어떻게든 되기만 해보기
이게 진짜 너무너무 하고 싶은데 방법이 없을까요?
답변 3
0
안녕하세요, 이도원입니다,
Kafka Connect에 대한 최신 설치 과정에 대한 수업 자료를 업로드 하였습니다. 아래와 같은 환경에서 테스트 하였습니다. Section 12 Kafka Connet 설치 수업에 PDF 파일로 자료 등록하였습니다.
Docker Kafka (apache/kafka:latest 이미지 사용)
Kafka Connect 설치 (6.1.0)
JDBC Connector Driver (10.7.11)
Windows 11 + Docker Desktop
확인해 보시고 추가 질문 사항 있으시면 다시 글 남겨 주세요.
감사합니다.
0
개발 환경이 어떻게 되어 있으신지는 잘 모르겠지만 제가 최근에 클론 코딩 하면서 작성했던 도커 컴포즈 파일 공유해드릴게요. 도움이 되셨으면 좋겠습니다. Docker version은 27.0.3 입니다.
https://github.com/devwuu/spring-cloud-study/blob/section/devops/docker-compose.yml
커넥터랑 mariadb 드라이버는 볼륨 빼두었으니 그냥 컨테이너 올렸을 때 생성되는 폴더 열어서 거기에 밀어 넣으시면 됩니다. (만약 폴더 생성이 안되시면 그냥 볼륨 대로 경로 맞춰서 넣으시면 됩니다)
좀 더 자세하게는
jdbc 커넥터는 volumes에 작성된 경로대로 맞춰주시면 됩니다. 커넥터 다운 받아서 압축 푸시면 confluentinc-kafka-connect-jdbc 폴더로 풀릴걸로 예상되는데 그냥 이 폴더 통째로 /confluent/connect/connector 폴더 안에 넣어주시면 됩니다.
mariadb 드라이버는 /confluent/connect/mysql 폴더 안에 넣어주시면 됩니다. 폴더 이름은 mysql로 되어 있는데 저는 그냥 mariadb 드라이버로 집어넣었어요. 드라이버는 디펜던시로 내려받은 jar 파일 집어 넣었구요.
강의에서 사용하신 카프카 커넥터 API와 카프카 명령어는 README에 정리해두었습니다.
https://github.com/devwuu/spring-cloud-study/blob/section/devops/README.md
강의 들으면서 완전 똑같이 구성한 건 아니라 엔티티 이름이나 필드가 좀 다르긴한데... 컨테이너 올리는 덴 문제 없을 걸로 예상돼서 공유드립니다.
@dionisos198 제 생각엔 크게 문제가 될 거 같진 않습니다. DB 연결할 때만 좀 신경쓰면 그 외 설정엔 큰 영향 없을 거 같아요. 제가 마리아 디비 드라이버를 사용한 건 제가 마리아 디비를 사용해서 그런 것이니 질문자님께서 환경을 구성하신 것에 맞춰서 한 번 시도해보셔요
안녕하세요, 이도원입니다.
답변이 늦어 죄송합니다.
강의에서 사용한 부분에 대한 예제만을 위해서라면 mariadb나 mysql driver 를 같이 사용하셔도 괜찮은데, 혹시라도 함수부분이나 날짜관련 부분에서 오류가 발생할 수도 있을 것 같습니다. 위에서 말씀하신 이슈는 Windows 환경에서 다시한번 확인 후 추가 답변 드리도록 하겠습니다.
감사합니다.
0
안녕하세요, 인프런 AI 인턴입니다. dionisos198님의 질문에 관해 찾아보니, Apache Kafka 및 Kafka Connect 설치와 관련하여 윈도우 환경에서 많은 고민이 있으신 것 같습니다. Docker를 활용하여 Kafka, Zookeeper, Kafka Connect, 그리고 JDBC 커넥터를 설정하여 사용하고자 하는 목표에 대한 내용이 잘 이해되었습니다.
Kafka Connect와 JDBC 커넥터를 설정하여 MySQL과의 연동을 시도하시는 과정에서 발생하는 문제를 해결하기 위해 몇 가지 유사한 상황에서 제공된 해결책을 찾아보았습니다.
“docker로 kafka를 올려 사용하다 막힌부분 해결한 사례 공유드려요!”에서는 Docker를 사용하여 Kafka를 설정하는 과정과 이를 데이터베이스(예: MariaDB)에 연결하는 과정을 설명하고 있습니다. 이 대답에서 Docker 네트워크 설정에 대한 핵심 정보를 얻으실 수 있을 것 같습니다.
단, Kafka-Connect와 JDBC 커넥터의 설정 부분에 직접적으로 초점을 맞춘 구체적인 질문과 해결 방법에 대한 내용은 현재 제공된 정보만으로 적절한 답변을 찾기 어려웠습니다. Kafka Connect를 Docker를 통해 설정하는 과정에서 발생할 수 있는 일반적인 문제 해결 방법에 대해 조금 더 구체적인 가이드를 제공하는 공식 문서나 커뮤니티 포럼의 도움을 받아보시는 것도 하나의 방법이 될 것 같습니다.
추가로, 오류 메시지와 환경 설정에서 보이는 특정 문제(예: jar 파일이 올바르게 복사되지 않는 문제)에 대해서는, Docker 컨테이너의 Volume 설정이 제대로 되어있는지, Dockerfile에서 COPY 혹은 ADD 명령을 사용하여 필요한 jar 파일을 컨테이너 안에 포함시키는 방식도 고려해 보아야 할 것 같습니다.
정리하자면, Windows 환경에서 Kafka, Zookeeper, 그리고 Kafka Connect를 Docker를 활용하여 실행하는 것은 가능하지만, 설정 과정에서는 여러 세심한 주의가 필요할 수 있습니다. 특히, Kafka Connect와 JDBC 커넥터를 설정할 때는 정확한 Volume 마운트, 네트워크 설정, 그리고 필요한 모든 환경 변수가 올바르게 설정되었는지 확인하는 과정이 중요합니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
정말 감사합니다만 ... mariadb 드라이버 대신 mysql 드라이버 넣어도 문제가 없을까요?