인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

좋은 낙지님의 프로필 이미지
좋은 낙지

작성한 질문수

카프카 완벽 가이드 - 커넥트(Connect) 편

Incrementing 모드로 JDBC Source Connector 생성하기

Incrementing 모드로 JDBC Source Connector 생성하기 질문

해결된 질문

작성

·

466

0

고생하십니다.

질문은 해당 강의 진행중에 에러가 발생하여 질문드립니다.

 

vi ~/connector_configs/mysql_jdbc_om_source_00.json

을 통한 사전 설정값

{
    "name": "mysql_jdbc_om_source_00",
    "config": {
        "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
        "tasks.max": "1",
        "connection.url": "jdbc:mysql://localhost:3306/om",
        "connection.user": "connect_dev",
        "connection.password": "connect_dev",
        "topic.prefix": "mysql_om_",
        "topic.creation.default.replication.factor": 1,
        "topic.creation.default.partitions": 1,
        "catalog.pattern": "om",  
        "table.whitelist": "om.customers",
        "poll.interval.ms": 10000,
        "mode": "incrementing",
        "incrementing.column.name": "customer_id"
    }
}

 

 

명령실행값

http POST http://localhost:8083/connectors @mysql_jdbc_om_source_00.json

명령 결과값

HTTP/1.1 201 Created
Content-Length: 566
Content-Type: application/json
Date: Tue, 25 Apr 2023 01:47:21 GMT
Location: http://localhost:8083/connectors/mysql_jdbc_om_source_00
Server: Jetty(9.4.44.v20210927)

{
    "config": {
        "catalog.pattern": "om",
        "connection.password": "connect_dev",
        "connection.url": "jdbc:mysql://localhost:3306/om",
        "connection.user": "connect_dev",
        "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
        "incrementing.column.name": "customer_id",
        "mode": "incrementing",
        "name": "mysql_jdbc_om_source_00",
        "poll.interval.ms": "10000",
        "table.whitelist": "om.customers",
        "tasks.max": "1",
        "topic.creation.default.partitions": "1",
        "topic.creation.default.replication.factor": "1",
        "topic.prefix": "mysql_om_"
    },
    "name": "mysql_jdbc_om_source_00",
    "tasks": [],
    "type": "source"
}

이렇게 post를 통해서 올렸을 때, CONNECT쪽에서 아래와 같은 문제가 계속 발생하고 있습니다.

 

Either no records were produced by the task since the last offset commit, or every record has been filtered out by a transformation or dropped due to transformation or conversion errors. (org.apache.kafka.connect.runtime.WorkerSourceTask:484)

connect에 에러가 발생해 일단 강의 진행을 멈춘 상태입니다. 제가 혹시 놓친 부분이 있을지 질문드립니다.

 

답변 1

0

권 철민님의 프로필 이미지
권 철민
지식공유자

안녕하십니까,

강의 그대로 따라 하신건가요? 아님 변경을 약간이라도 하신 부분이 있는지 먼저 확인 부탁드립니다.

감사합니다.

좋은 낙지님의 프로필 이미지
좋은 낙지
질문자

안녕하세요. 수업의 경우 계정이름이 min이 아닌 kms인 차이만 있습니다.
그 외에는 강의와 동일하게 진행하였습니다.
영상 5:43초쯤 진행하는 POST 명령어 실행시 connector 콘솔에서 Either no records 에러가 주기적으로(10초쯤?) 발생하고 있습니다.

권 철민님의 프로필 이미지
권 철민
지식공유자

적어주신 내용은 오류가 아닙니다. 로그를 잘 보시면 INFO 라고 되어 있습니다.

JDBC Source Connector에서 주기적으로 DB를 뒤지는데, 현재 신규 데이터가 입력되지 않아서 발생하는 메시지 입니다. 정상적으로 기동중입니다. 계속 강의 들으시면서 실습하시면 될것 같습니다.

좋은 낙지님의 프로필 이미지
좋은 낙지
질문자

감사합니다. 정상적인 상황이였군요.
계속 실습해보겠습니다.
답변달아주셔서 감사합니다.

좋은 낙지님의 프로필 이미지
좋은 낙지

작성한 질문수

질문하기