Kafka Complete Guide - Connect

안녕하세요 Debezium source connector 부분을 공부하다가 궁금한 부분이 생겨서 질문드립니다! <p style="text-alig

안녕하세요.강의에서 실습을 종료할 때는 첫 구동 순서의 반대로 순서로 종료를 하라고 말씀을 하셨는데그러지

안녕하세요.외부 DB 에 connect 하여 CDC를 통해 데이터를 가져 오는 것을 하고 있습니다. 외부에서 가져오다 보니 데이터를 보호 하고 싶다는 생각

안녕하세요,강의를 듣기 전에 몇 가지 여쭙고자 합니다.self-host로 kafka-connect를 운영

강의를 들으면서 헷갈리는 부분이 있는데요. debezium source connector등록시 설정하는 poll.interval.ms 파라미터는 debezium source connector가

2025-02-24 추가) 해당 문제는 psql session 로그인 시도에서 database만 잘 접근하면 문제 없습니다. 강의대로 따라가시면 됩니다.psql -h localhost -U connect_dev -d ${database_

안녕하세요 선생님. 강의 잘 보고 있습니다.JDBC Sink Connector의 데이터베이스 스키마 설정 문제가 있네요. 찾아보니 JDBC Sink Connector의 내부적인 문제 같습니다... 구글링을 해보니 table.name.form

안녕하세요~ 강의를 듣다가 binlog관련 궁금한 점이 생겨서 질문드립니다!해당 커넥트의 offset정보에 담긴 binlog파일이 만약 삭제됐다면 기동 중에 오류가 발생한다고 말씀을 주셨는데, 그럼 만약 binlog 파일이 커져서 다음 파

MSSQL-Server 용도로 Debezium cdc source를 등록해서 사용하고 싶습니다만, 아래와 같이 config 등록 시{ "name": "mssql_cdc_oc_source_01",

connect를 재가동해도 보이지가 않네요..경로 문제일까요? 아래와 같이 결과가 나옵니다.(cdc_source_connector/, jdbc_connector/ 위치에 jar 파일들은 모두 있습니다.)<

현재 JDBC Sink Connector 생성 실습중입니다. 실습환경과 버전차이가 있어서 그런건지 깃허브에 올려주신 config로 생성하는경우 mysql syntax에러가 발생하면서 오류발생으로 작

어디에 올리는 것이 적합한지 모르겠어서 여기에 올려봅니다. 혹시 virtual box 사용하여 강의 환경설정하시는 것이 조금 번거로우신 분들을 위해, 강의 실습을 진행하며 사용했던 docker-compose 파일을 공유드립니다!강의의 세부

안녕하세요, 카프카 코어편 보고 커넥트편까지 재밌게? 강의 시청 중입니다. 먼저 좋은 강의 감사합니다.커넥트를 배우면서 궁금한 점이 생겼는데요, 예를 들어 msa, 카프카로 구성된 환경에서 회원가입이라는 로직을 구현한다고 하면, http 요청

안녕하세요.강의 잘 들어보고 AWS cloud 환경에서 msk를 이용하여 connector 생성하고 있습니다. 다만, db(mysql)의 binlog가 오래되어 삭제시켰고, 새롭게 debezium connector를 생성 중에 <span style="col

커넥터와 별개긴 한데, 카프카 관련하여 문의드립니다.현재 프로젝트 디폴트 설정이 자동 커밋인데, 리스너를 내리거나 서버를 내릴때에 예외적으로 커밋을 치고 싶습니다. 이런 경우 수동커밋이 가능한지 문의드립니다.

안녕하세요 강사님 kafka에서 JDBC SInk Connector의 Consumer가 Offset 450개로 가져가는 순간 commit 이 되어서 __consumer_offsets가 update되는것이 아니라executeBatch()가

안녕하세요 강사님 이제 필요한 jdbc jar들을 넣고 connect를 재기동시켰을 때 csv_spooldir 관련 에러가 나오는데 아마 input directory에 csv파일이 없다고 하는것같은데 이미 처리되어 finish로 가있는데

이미 Kafka Core편은 들었고 현재 Kafka Connect부분중 Sink Connector듣기 전입니다.이 강의를 듣게된 동기이기도 한데요.. DBToDB방식으로 해결하지 않고 Source Connector가 없이 Topic를 만들고 Topic

안녕하세요. 저번에 카프카 재기동 오류에 관해 질문을 올렸던 수강생입니다. 카프카 실행에 관한 오류는 해결하였습니다만, 이번에는 connector가 실행되지 않는 오류가 발생하여 강사님 말씀대로 카프카 삭제 후 강의와 동일한 버전으로 재설치해보았습니다. 하지만 커넥터

영상에 나온 설명대로 서버를 내려준 뒤 디렉토리 삭제 후 다시 생성- zookeeper 실행 --->여기까진 잘 됩니다.그런데 카프카 서버를 실행하려고 하면 <img src="https://cdn.inflearn.com/public/files/posts/480af