kafka connector 등록 후 조회 시 에러

강의에서 알려주신대로 my-source-connect라는 connector를 등록한 후

로 GET 조회시 아래와 같이 connector가 잘 뜨는 것을 확인하고

http://localhost:8083/connectors/my-source-connect/status

로 GET 조회시 아래와 같은 오류 메시지가 응답됐습니다.

{
    "name": "my-source-connect",
    "connector": {
        "state": "FAILED",
        "worker_id": "127.0.0.1:8083",
        "trace": "java.lang.NoSuchMethodError: 'boolean org.apache.kafka.common.utils.Utils.isBlank(java.lang.String)'\n\tat io.confluent.connect.jdbc.util.StringUtils.isNotBlank(StringUtils.java:79)\n\tat io.confluent.connect.jdbc.dialect.GenericDatabaseDialect.getJdbcCredentialsProvider(GenericDatabaseDialect.java:2010)\n\tat io.confluent.connect.jdbc.dialect.GenericDatabaseDialect.<init>(GenericDatabaseDialect.java:192)\n\tat io.confluent.connect.jdbc.dialect.MySqlDatabaseDialect.<init>(MySqlDatabaseDialect.java:67)\n\tat io.confluent.connect.jdbc.dialect.MySqlDatabaseDialect$Provider.create(MySqlDatabaseDialect.java:57)\n\tat io.confluent.connect.jdbc.dialect.DatabaseDialects.findBestFor(DatabaseDialects.java:134)\n\tat io.confluent.connect.jdbc.JdbcSourceConnector.start(JdbcSourceConnector.java:87)\n\tat org.apache.kafka.connect.runtime.WorkerConnector.doStart(WorkerConnector.java:185)\n\tat org.apache.kafka.connect.runtime.WorkerConnector.start(WorkerConnector.java:210)\n\tat org.apache.kafka.connect.runtime.WorkerConnector.doTransitionTo(WorkerConnector.java:349)\n\tat org.apache.kafka.connect.runtime.WorkerConnector.doTransitionTo(WorkerConnector.java:332)\n\tat org.apache.kafka.connect.runtime.WorkerConnector.doRun(WorkerConnector.java:140)\n\tat org.apache.kafka.connect.runtime.WorkerConnector.run(WorkerConnector.java:117)\n\tat java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:539)\n\tat java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)\n\tat java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136)\n\tat java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)\n\tat java.base/java.lang.Thread.run(Thread.java:840)\n"
    },
    "tasks": [],
    "type": "source"
}

kafka connect 터미널 로그에는 다음과 같이 찍혀있었습니다.

[2024-10-13 23:15:36,747] ERROR WorkerConnector{id=my-source-connect} Error while starting connector (org.apache.kafka.connect.runtime.WorkerConnector:193)
java.lang.NoSuchMethodError: 'boolean org.apache.kafka.common.utils.Utils.isBlank(java.lang.String)'
	at io.confluent.connect.jdbc.util.StringUtils.isNotBlank(StringUtils.java:79)
	at io.confluent.connect.jdbc.dialect.GenericDatabaseDialect.getJdbcCredentialsProvider(GenericDatabaseDialect.java:2010)
	at io.confluent.connect.jdbc.dialect.GenericDatabaseDialect.<init>(GenericDatabaseDialect.java:192)
	at io.confluent.connect.jdbc.dialect.MySqlDatabaseDialect.<init>(MySqlDatabaseDialect.java:67)
	at io.confluent.connect.jdbc.dialect.MySqlDatabaseDialect$Provider.create(MySqlDatabaseDialect.java:57)
	at io.confluent.connect.jdbc.dialect.DatabaseDialects.findBestFor(DatabaseDialects.java:134)
	at io.confluent.connect.jdbc.JdbcSourceConnector.start(JdbcSourceConnector.java:87)
	at org.apache.kafka.connect.runtime.WorkerConnector.doStart(WorkerConnector.java:185)
	at org.apache.kafka.connect.runtime.WorkerConnector.start(WorkerConnector.java:210)
	at org.apache.kafka.connect.runtime.WorkerConnector.doTransitionTo(WorkerConnector.java:349)
	at org.apache.kafka.connect.runtime.WorkerConnector.doTransitionTo(WorkerConnector.java:332)
	at org.apache.kafka.connect.runtime.WorkerConnector.doRun(WorkerConnector.java:140)
	at org.apache.kafka.connect.runtime.WorkerConnector.run(WorkerConnector.java:117)
	at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:539)
	at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136)
	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)
	at java.base/java.lang.Thread.run(Thread.java:840)
[2024-10-13 23:15:36,747] ERROR [Worker clientId=connect-1, groupId=connect-cluster] Failed to start connector 'my-source-connect' (org.apache.kafka.connect.runtime.distributed.DistributedHerder:1339)
org.apache.kafka.connect.errors.ConnectException: Failed to start connector: my-source-connect
	at org.apache.kafka.connect.runtime.distributed.DistributedHerder.lambda$startConnector$5(DistributedHerder.java:1305)
	at org.apache.kafka.connect.runtime.WorkerConnector.doTransitionTo(WorkerConnector.java:335)
	at org.apache.kafka.connect.runtime.WorkerConnector.doRun(WorkerConnector.java:140)
	at org.apache.kafka.connect.runtime.WorkerConnector.run(WorkerConnector.java:117)
	at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:539)
	at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136)
	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)
	at java.base/java.lang.Thread.run(Thread.java:840)

다음은 제가 시도해본 해결방법 3가지 입니다.

테이블 이름 수정

https://www.inflearn.com/community/questions/618181/source-connector-%EC%98%A4%EB%A5%98?srsltid=AfmBOooaiA_jLl3ijo0mPjPhnhjM4FQeCSDVdXjgXAAHMsN7sojnFkIR

users 테이블은 예약어라고 해서 user1으로 수정해서 POST 요청을 보냈을 때는 아래와 같이 응답이 잘 왔습니다.

mariadb-java-client.jar 파일 올바른 폴더에 넣기

https://www.inflearn.com/community/questions/970970/kafka-connectors-%EC%97%90%EB%9F%AC?srsltid=AfmBOoopKwFbCFMIgaLAKg5-4urO7Fzzxwl2ChzmqH8evzNEc4H1ECsD

다음 글을 참고해서 mariadb-java-client.jar 파일을 아래와 같이 kafka 폴더에 옮겨 놓았습니다

플러그인 확인

https://www.inflearn.com/community/questions/245034/localhost-8083-connectors-%ED%98%B8%EC%B6%9C%EC%8B%9C-%EC%97%90%EB%9F%AC%EA%B0%80-%EB%B0%9C%EC%83%9D%ED%95%A9%EB%8B%88%EB%8B%A4?srsltid=AfmBOophiRaXpfFVHkArBbyirgaPdUfbGUP2W8o5Px-k_ZZDJ2b7wgmf

다음 글을 참고해서

http://localhost:8083/connector-plugins

[
    {
        "class": "io.confluent.connect.jdbc.JdbcSinkConnector",
        "type": "sink",
        "version": "10.8.0"
    },
    {
        "class": "io.confluent.connect.jdbc.JdbcSourceConnector",
        "type": "source",
        "version": "10.8.0"
    },
    {
        "class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
        "type": "sink",
        "version": "6.1.0-ccs"
    },
    {
        "class": "org.apache.kafka.connect.file.FileStreamSourceConnector",
        "type": "source",
        "version": "6.1.0-ccs"
    },
    {
        "class": "org.apache.kafka.connect.mirror.MirrorCheckpointConnector",
        "type": "source",
        "version": "1"
    },
    {
        "class": "org.apache.kafka.connect.mirror.MirrorHeartbeatConnector",
        "type": "source",
        "version": "1"
    },
    {
        "class": "org.apache.kafka.connect.mirror.MirrorSourceConnector",
        "type": "source",
        "version": "1"
    }
]

다음과 같이 응답이 왔습니다.

jdbc connector는 잘 등록된 것 같습니다..

뭐가 문제일까요?

안녕하세요, 인프런 AI 인턴입니다. kim6562166086님. Kafka Connect를 사용하시다가 발생한 문제에 대해 도와드리겠습니다. 에러 메시지를 보시면 java.lang.NoSuchMethodError: 'boolean org.apache.kafka.common.utils.Utils.isBlank(java.lang.String)' 라고 나옵니다. 이는 Java 애플리케이션의 라이브러리 간 버전 호환성 문제로 인해 특정 메서드를 찾지 못하는 상황을 말합니다.

이 문제를 해결하기 위한 주요 포인트는 다음과 같습니다:

라이브러리 호환성 확인: Kafka 라이브러리와 함께 사용되는 모든 플러그인과 드라이버의 버전이 서로 호환되는지 확인하세요. 특히 Kafka와 Confluent JDBC Connector의 버전이 맞춰져야 합니다. 적어도 Confluent Kafka 라이브러리와 Connect JDBC 라이브러리가 동일하거나 호환 가능한 버전을 사용하세요.
Confluent Platform 업데이트: 사용하는 Confluent Platform의 최신 버전을 설치해 보세요. 해당 NoSuchMethodError는 일반적으로 API 변경으로 인한 문제이며, 최신 버전으로 업데이트하는 것이 도움이 될 수 있습니다.
클래스패스 중복 확인: Java 클래스패스에 중복된 JAR 파일이 있는지 확인하세요. 중복된 JAR 파일이 있을 경우, 충돌이 발생할 수 있습니다. 특히, org.apache.kafka 패키지와 관련된 JAR 파일이 여러 버전 존재하지 않도록 관리해야 합니다.
JAR 파일 위치 확인: mariadb-java-client.jar뿐만 아니라 다른 필요한 JAR 파일들도 PLUGIN_PATH에 올바르게 지정되어 있는지 다시 한번 점검해 보세요. 제대로 지정되지 않았을 경우, 드라이버 찾기에 실패할 수 있습니다.

아래 게시글도 참고하시면 도움이 될 수 있습니다:

localhost:8083/connectors 호출시 에러가 발생합니다.
- 이 질문에서는 플러그인 관련 경로 설정과 JAR 파일 설치 문제에 대한 해결책을 다루고 있습니다. 특히 플러그인 목록을 통해 필요한 커넥터가 등록되었는지 확인하고 비스타 설정을 다시 점검하는 방법을 다루고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변