kafka consumer에서 데이터를 못 읽는데요.

너무 감사합니다^^ 드디어 kafka에서 실행이 되네요. 얼마 남지 않은 강의 빨리 듣고, 수강평 남기도록 하겠습니다. 좋은 하루 되세요. ^^

kafka consumer에서 데이터를 못 읽는데요.

회사 프로젝트 때문에 뒷편 부터 강의를 신청했지만, 여전히 kafka가 말썽입니다. 초기설치를 하고 해도, flume batch는 전송을 잘 받는데, kafka한테 메시지를 주지 않는 것은 왜 일까요? virtual box 의 문제가 있을 수도 있다고 구글링을 해봤는데, 혹시 그 문제일까요? 현재 전 6.01을 쓰고 있거든요. 정말 이 문제 때문에, 정말 듣고 싶은 후속 강의를 듣지도 못하고 있네요... 구글링을 해봤는데, 어쩌면 아래 link에 있는cloudera 사용자와 마찬가지로, real time 적재가 불가능한 거 같습니다. https://community.cloudera.com/t5/Support-Questions/Problem-about-Configuring-Flume-as-Kafka-Consumer/td-p/61018/page/2

kafka consumer에서 데이터를 못 읽는데요.

자꾸 귀찮게 해드려서 죄송해서, 일단 그냥 계속 강의 진행하겠습니다.근데 SmartCar-Topic2를 했는데도, 여전히 real-time 데이터가 kafka에게 전송이 안되는 거 같습니다. 데이터 분석일을 3년 하고 있지만, 데이터를 수집 적재하는 것이 이렇게 어렵다는 것이 피부로 다가오는 군요.

kafka consumer에서 데이터를 못 읽는데요.

(사진) unkown error가 뜨는 것을 확인할 수가 있습니다. 두 개의 topic (SmartCar-Topic, SmartCar-Topic2) 둘 다 똑같은 unknown error를 가지고 있습니다.

kafka consumer에서 데이터를 못 읽는데요.

저 나름대로 정리를 해서, 처음부터 끝 까지 올려보았습니다. #create a kafka topic under the name of 'SmartCar-Topic' kafka-topics --create --zookeeper server02.hadoop.com:2181 --replication-factor 1 --partitions 1 --topic SmartCar-Topic #command lines for the list of Topics kafka-topics --zookeeper server02.hadoop.com:2181 --list(사진) #generate both batch and real data java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.CarLogMain 20160101 3 & java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.DriverLogMain 20160101 3 & #double-check the status of those generated data cd /home/pilot-pjt/working/SmartCar/ tail -f /home/pilot-pjt/working/driver-realtime-log/SmartCarDriverInfo.log #move the current file to the assigned directory mv /home/pilot-pjt/working/SmartCar/SmartCarStatusInfo_20160101.txt /home/pilot-pjt/working/car-batch-log #restart flume (사진) (사진)