Debezium cdc source for MSSQL-Server... - 인프런

카프카 완벽 가이드 - 커넥트(Connect) 편

Debezium cdc source for MSSQL-Server [등록오류]

작성

MSSQL-Server 용도로 Debezium cdc source를 등록해서 사용하고 싶습니다만,

아래와 같이 config 등록 시

{
  "name": "mssql_cdc_oc_source_01",
  "config": {
    "connector.class": "io.debezium.connector.sqlserver.SqlServerConnector",
    "database.encrypt": "false",
    "database.hostname": "***.***.***.***",
    "database.port": "1433",
    "database.user": "userid",
    "database.password": "password",
    "database.names": "dbname",
    "topic.prefix": "MSSQL",
    "schema.history.internal.kafka.bootstrap.servers": "192.168.56.101:9096",
    "schema.history.internal.kafka.topic": "sh-history",
    "schema.history.internal.store.only.captured.tables.ddl": "true",
    "schema.history.internal.store.only.captured.databases.ddl": "true"
  }
}

아래와 같은 에러가 납니다.,ㅠㅠ

HTTP/1.1 400 Bad Request

Content-Length: 280

Content-Type: application/json

Date: Mon, 16 Dec 2024 02:16:43 GMT

Server: Jetty(9.4.44.v20210927)

{

"error_code": 400,

"message": "Connector configuration is invalid and contains the following 3 error(s):\nA value is required\nA value is required\nA value is required\nYou can also find the above list of errors at the endpoint /connector-plugins/{connectorType}/config/validate"

}

문제 해결 방법이나, SQL-Server용 예제 소스를 제공해 주실 수 있는지요???

회신 메일주소는 : sentrino@naver.com입니다.

감사합니다!

kafka 데이터-엔지니어링

답변 2

권 철민

지식공유자

안녕하십니까,

제가 MSSQL을 다뤄보진 않아서 정확하게는 모르겠지만, 일단 table.include.list에 대상 table 명이 빠진것 같습니다. 아래는 https://debezium.io/documentation/reference/stable/connectors/sqlserver.html 에서 가져온 sample config 입니다. 비교해서 매칭해 보시면 좋을 것 같습니다. 감사합니다

{

"name": "inventory-connector",

"config": {

"connector.class": "io.debezium.connector.sqlserver.SqlServerConnector",

"database.hostname": "192.168.99.100",

"database.port": "1433",

"database.user": "sa",

"database.password": "Password!",

"database.names": "testDB1,testDB2",

"topic.prefix": "fullfillment",

"table.include.list": "dbo.customers",

"schema.history.internal.kafka.bootstrap.servers": "kafka:9092",

"schema.history.internal.kafka.topic": "schemahistory.fullfillment",

"database.ssl.truststore": "path/to/trust-store",

"database.ssl.truststore.password": "password-for-trust-store"

}

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 아나킨님.

MSSQL-Server용 Debezium connector를 설정하시면서 어려움을 겪고 계신 것 같습니다. 등록 중 발생하는 오류 메시지를 보니 특정 필드의 값이 설정되지 않은 상태라는 부분이 문제로 보입니다. 이 메시지는 설정 파일에 필수로 필요한 값들이 누락되었음을 시사합니다.

필수 필드 확인: 각 필드가 올바르게 입력됐는지, 모든 필수 필드가 포함됐는지 확인하세요. 예를 들어 “database.names”보다는 “database.dbname”처럼 정확한 필드명을 사용해야 할 수도 있습니다. 또한 기본적으로 필요한 값들이 있습니다. 이름이 없는 경우에는 필수 항목이 무엇인지를 파악해야 합니다.
Config 파일 검토: 발행하는 config 내용이 정확히 입력되었는지 다시 확인해보세요. JSON 형식의 구문 오류가 있는지, 문자열이 올바르게 지정되었는지 점검하시기 바랍니다.
Debezium 공식 문서 참조: Debezium 공식 문서에 있는 SQL Server용 설정 예제를 참고하시고, 해당 환경에 맞게 설정을 조정해 보세요. Debezium SQL Server Connector 설정 예제를 참고하시기 바랍니다.

다른 사용자가 유사한 문제로 도움이 됐던 게시물을 아래에서 찾아볼 수 있습니다:

oracle source connector 관련 문의: 이 글은 다른 형태의 connector 설정 문제로, 유사한 오류를 해결하는 데 도움이 될 수 있습니다.
금융 data 다루기에서 발생하는 Connection 오류: Configuration에 발생할 수 있는 오류와 관련된 추가적인 설명이 있을 수 있습니다.

질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변

Debezium cdc source for MSSQL-Server [등록오류]