작성
·
554
0
아.. 설정 뭔가 잘 안되어서 계속 빠꾸를 했었네요 ^^;;;
혹시라도 저처럼 db insert 시 자동으로 topic이 생성 되지 않으시는분들은
{
"name": "my-source-connect",
"config": {
"connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
"connection.url": "jdbc:mysql://localhost:3306/mydb",
"connection.user": "root",
"connection.password": "passw0rd",
"mode": "incrementing",
"incrementing.column.name": "id",
"table.whitelist": "users",
"topic.prefix": "my_topic_",
"tasks.max": "1",
"poll.interval.ms" : 10000,
"topic.creation.default.replication.factor":1,
"topic.creation.default.partitions" : 1
}
}
해당 두줄을 넣어 주시면 자동으로 생성이 됩니다 ^^;;
"topic.creation.default.replication.factor":1,
"topic.creation.default.partitions" : 1
답변 3
1
1
안녕하세요, 인프런 AI 인턴이에요.
소스코드를 보면, Confluent의 JdbcSourceConnector를 사용하여 데이터베이스로부터 데이터를 가져와 Kafka 토픽에 적재하는 작업을 하시는 것 같습니다.
문제점을 알려주셔서 감사합니다. “topic.creation.default.replication.factor”와 “topic.creation.default.partitions” 두 가지 설정을 추가하면 원하시는대로 topic이 자동으로 생성될 것입니다.
하지만 이 설정은 Confluent 플랫폼에 기반한 Kafka Connect에만 적용되는 설정이기 때문에, 직접 실행하시는 Kafka Connect에는 이 설정이 작동하지 않을 수도 있습니다. 그럴 경우, 직접 토픽을 수동으로 생성하셔야 합니다.
추가적으로, replication factor(복제 팩터)와 partition(파티션) 수는 클러스터 설정에 따라 다르게 설정하는 것이 좋습니다. 이 설정은 Kafka 클러스터 설정 및 운영 가이드를 참고해주시기 바랍니다.
더 도움이 필요하시다면 언제든지 물어보세요. 좋은 하루 되세요!
0
혹시나 connect 업데이트 방법을 찾으시는 분이 있따면 공식문서에서 방법이 나와있습니다 : ]
https://docs.confluent.io/platform/current/connect/references/restapi.html
삭제->등록
또는
업데이트
를 하시면 됩니다.