인프런 커뮤니티 질문&답변
작성한 질문수
문의: tail -f /var/log/flume-ng/flume-cmf-flume-AGENT-server02.hadoop.com.log 실행시
21.10.05 13:01 작성
·
261
0
실행시 updating checkpoint.. 이런 내용이 안나오고 아래와 같은 내용만 나옵니다.
에러는 없는데 " hdfs dfs -ls -R /pilot-pjt/collect/car-batch-log/" 실행하면 디렉토리가 없다고 나옵니다.
value.serializer = class org.apache.kafka.common.serialization.ByteArraySerializer
2021-10-05 12:55:12,487 INFO org.eclipse.jetty.server.Server: jetty-9.3.25.v20180904, build timestamp: 2018-09-05T06:11:46+09:00, git hash: 3ce520221d0240229c862b122d2b06c12a625732
2021-10-05 12:55:12,647 INFO org.eclipse.jetty.server.AbstractConnector: Started ServerConnector@1f87d55e{HTTP/1.1,[http/1.1]}{0.0.0.0:41414}
2021-10-05 12:55:12,647 INFO org.eclipse.jetty.server.Server: Started @3734ms
2021-10-05 12:55:13,112 INFO org.apache.kafka.common.utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.2
2021-10-05 12:55:13,114 INFO org.apache.kafka.common.utils.AppInfoParser: Kafka commitId: null
2021-10-05 12:55:13,119 INFO org.apache.flume.instrumentation.MonitoredCounterGroup: Monitored counter group for type: SINK, name: DriverCarInfo_KafkaSink: Successfully registered new MBean.
2021-10-05 12:55:13,120 INFO org.apache.flume.instrumentation.MonitoredCounterGroup: Component type: SINK, name: DriverCarInfo_KafkaSink started
2021-10-05 12:55:13,191 INFO org.apache.kafka.clients.Metadata: Cluster ID: 5n3YiK4DRl-2ZKzHfFTosw
tail -f /var/log/flume-ng/flume-cmf-flume-AGENT-server02.hadoop.com.log
답변 1
0
2021. 10. 05. 13:46
안녕하세요! 빅디 입니다.
플럼 로그에서 tail 명령 말고 vi 명령을 통해 이전에 라인에도 에러가 있었는지 확인해봐 주시고요..
아래 명령으로 체크해서 스마트카 상태정보 파일(SmartCarStatusInfo_20160101.txt) 상태 여부를 확인해 봐 주세요~
1. Putty로 Server02 접속
2. 스마트카 상태정보 파일 원천경로 파일확인
$ ls -ltr /home/pilot-pjt/working/SmartCar/
3. 스마트카 상태정보 파일 타겟경로 파일확인
$ ls - ltr /home/pilot-pjt/working/car-batch-log/
- 빅디 드림
2021. 10. 05. 18:05
아..네!!! 빅데이터 환경이 많이 복잡하고 어렵습니다. ^^;;
그래도 이렇게 하나씩 해결해 나가시다 보면 속도도 붙지 않을까요??!!
/home/pilot-pjt/working/car-batch-log 경로에 파일이 있다는건 플럼이 작동을 안한것 입니다.
만약 플럼이 정상 작동 했다면, 해당 경로에 파일을 읽어서 HDFS에 전송하고, 삭제 하므로 파일이 없어야 합니다.
우선 CM홈에서 Flume 상태를 확인하고, 재시작해 보시고 테스트해 보시기 바랍니다.
- 빅디 드림
2021. 10. 05. 15:20
$ ls -ltr /home/pilot-pjt/working/SmartCar/ 는 total 0으로 파일이 없네요.
$ ls - ltr /home/pilot-pjt/working/car-batch-log/ 는 Smart...._20160101.txt 화일이 있습니다. 원천경로에 뭔가 제가 안한것 같습니다.
어디로 돌아가서 확인을 해봐야 할까요