인프런 커뮤니티 질문&답변

안녕하세요

"6. 적재 파일럿 실행 4단계 - 적재 기능 테스트" 강의 중, 플럼 이벤트 작동과 관련되어 실습 중 질문이 있어 문의드립니다.

현재 /home/pilot-pjt/working/SmartCar 경로에 마들어진 SmartCarStatusInfo_20160101.txt 파일을 플럼의 SmartCarInfo의 SpoolDir 경로인 /home/pilot-pjt/working/car-batch-log로 옮겨 플럼의 File 이벤트가 작동하기 위해,

$ mv /home/pilot-pjt/working/SmartCar/SmartCarStatusInfo_20160101.txt /home/pilot-pjt/working/car-batch-log/

$ cd /var/log/flume-ng/

$ tail -f /var/log/flume-ng/flume-cmf-flume-AGENT-server02.haddop.com.log

를 입력하였습니다. 이 후, "...BuckerWriter: Closing /pilot-pjt/...", "...BuckerWriter: Renaming /pilot-pjt/...", 그리고 마지막으로 "...Writer callback called"라는 메세지가 보이면 모든 HDFS 적재가 성공적으로 끝난 것이다라고 설명해주셨지만, 저는 아래 출력값으로 약 40분 간 추가적인 출력이 발생하지 않은 상황입니다.

[root@server02 SmartCar]# cd /var/log/flume-ng/
[root@server02 flume-ng]# tail -f /var/log/flume-ng/flume-cmf-flume-AGENT-server      02.hadoop.com.log
        value.serializer = class org.apache.kafka.common.serialization.ByteArray      Serializer

2024-01-28 01:11:50,605 INFO org.eclipse.jetty.server.Server: jetty-9.3.25.v2018      0904, build timestamp: 2018-09-05T06:11:46+09:00, git hash: 3ce520221d0240229c86      2b122d2b06c12a625732
2024-01-28 01:11:50,743 INFO org.eclipse.jetty.server.AbstractConnector: Started       ServerConnector@553dd1e0{HTTP/1.1,[http/1.1]}{0.0.0.0:41414}
2024-01-28 01:11:50,743 INFO org.eclipse.jetty.server.Server: Started @2563ms
2024-01-28 01:11:51,114 INFO org.apache.kafka.common.utils.AppInfoParser: Kafka       version: 2.2.1-cdh6.3.2
2024-01-28 01:11:51,117 INFO org.apache.kafka.common.utils.AppInfoParser: Kafka       commitId: null
2024-01-28 01:11:51,119 INFO org.apache.flume.instrumentation.MonitoredCounterGr      oup: Monitored counter group for type: SINK, name: DriverCarInfo_KafkaSink: Succ      essfully registered new MBean.
2024-01-28 01:11:51,121 INFO org.apache.flume.instrumentation.MonitoredCounterGr      oup: Component type: SINK, name: DriverCarInfo_KafkaSink started
2024-01-28 01:11:51,161 INFO org.apache.kafka.clients.Metadata: Cluster ID: lJYz      nSt_QWWTqgLn1n7JwA

 이런 상황에서 원인이 무엇인지와 해결 방법에 대해 알려주시면 감사하겠습니다.

 항상 강의를 통해 많은 것을 공부하고 있습니다.

감사합니다.