인프런 커뮤니티 질문&답변
작성한 질문수
카프카 에러메시지 삭제에 관해 질문이 있습니다.
작성
·
377
0
안녕하세요, 처음 질문을 남겨보는것 같은데, 우선 강사님 강의에서 정말 많이 배우고 있습니다.
제가 강의를 듣고 따라하던중 Schema의 Field datatype을 string으로 적어야 하는데 String으로 잘못 적은 문제가 있었습니다. 이때 발생한 에러 메시지들이 topic에 쌓여서 지속적으로 문제가 발생했어서 topic의 메시지는 kafka-topic.sh에 retention.ms를 짧게 바꿨다가 늘리는 방법으로 해결을 했습니다.
질문드리는 내용은
1. 혹시 이와같이 kafka 작업중 에러로인해 잘못된 메시지가 쌓일경우, 이것을 처리하는 방법이 위의 방법이 가장 나은지(해결하지 않으니 잘못된 메시지들을 불러오면서 계속 에러를 발생시키더라구요)
2. 두번째로는 이러한 에러메시지들이 kafka connect에도 쌓여서 서버 기동시마다 에러메시지를 쭈욱 불러옵니다. 가동에는 문제가 없으나, 혹시 깔끔하게 정리할 수 있는 방법이 있으면 알려주시면 감사하겠습니다.
좋은 강의 해주셔서 감사드립니다.
답변 1
0
안녕하세요, 이도원입니다.
retention.ms를 설정했다는 것은 로그 파일이 삭제되기 전에 보관되는 시간을 설정 하셨다는 거네요. 기존의 로그파일을 유지하면서, 새로 생성되는 메시지에 매번 같은 작업을 하시는 것보다는, 로그파일을 삭제하시고, 새로 생성하는 것이 어떨까 싶습니다. 강의에서 말씀드린 것 처럼 macos나 linux에서는 topic을 삭제하고 새로 생성할수 있지만, windows에서는 topic 삭제시 오류가 발생해서, 일일이 필요한 kafka 로그와 zookeeper 로그를 삭제하기가 어려우면 전체 로그를 삭제하고 다시 실행하셔야 할 것 같습니다.
감사합니다.