작성
·
101
0
이미 Kafka Core편은 들었고 현재 Kafka Connect부분중 Sink Connector듣기 전입니다.
이 강의를 듣게된 동기이기도 한데요.. DBToDB방식으로 해결하지 않고 Source Connector가 없이 Topic를 만들고 Topic에 Produce하는 방법이 가능한지요? Topic에 생성된 메시지는 Sink Connector 로 DB에 적재되는 구조입니다. Topic의 메시지 구조는 Source Connector에서 생성된 Message 체계로 Topic에 메시지를 적재하는 식으로 처리할려고 합니다.
Kafka core에서 배웠던 Produce하는 방법을 이용하는경우입니다.
정리) Source Connector없이 Topic에 메시지를 보내고 이를 SinkConnect로 DB에 적재하는게 가능한지요?
감사합니다.
답변 1
0
안녕하십니까,
Source Connector와 Sink Connector는 서로 독립적으로 움직이므로 원칙적으로 가능합니다. 근데, Sink Connector가 동작하려면 JSON이나 AVRO 타입으로 컬럼 메타 및 Payload 데이터가 Topic에 들어가 있어야 합니다. 그러니까 Sink Connector가 해독할 수 있는 포맷으로 데이터가 Topic에 들어가 있지 않으면 Sink Connector에서 데이터를 가져 올 수 없습니다.
감사합니다.