인프런 커뮤니티 질문&답변
작성한 질문수
tail -f flume~ 오류
작성
·
402
0
- [root@server02 flume-ng]# tail -f flume-cmf-flume-AGENT-server02.hadoop.com.log value.serializer = class org.apache.kafka.common.serialization.ByteArray Serializer
- INFO org.eclipse.jetty.server.Server: jetty-9.3.25.v2018 0904, build timestamp: 2018-09-05T06:11:46+09:00, git hash: 3ce520221d0240229c86 2b122d2b06c12a625732
- INFO org.eclipse.jetty.server.AbstractConnector: Started ServerConnector@470d2611{HTTP/1.1,[http/1.1]}{0.0.0.0:41414}
- INFO org.eclipse.jetty.server.Server: Started @5342ms
- INFO org.apache.kafka.common.utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.2
- INFO org.apache.kafka.common.utils.AppInfoParser: Kafka commitId: null
- INFO org.apache.flume.instrumentation.MonitoredCounterGr oup: Monitored counter group for type: SINK, name: DriverCarInfo_KafkaSink: Succ essfully registered new MBean.
- INFO org.apache.flume.instrumentation.MonitoredCounterGr oup: Component type: SINK, name: DriverCarInfo_KafkaSink started
- INFO org.apache.kafka.clients.Metadata: Cluster ID: lhtw uwZxS2CI85Bn_v6BuQ
재시작 했는데도 안되네요 ㅠㅠ
문제점이 무엇일까요?
답변 3
1
Big.D
지식공유자
안녕하세요! 코드몽키님!
올려주신 Flume의 로그 내용이나, Cloudera Manager의 상태 정보로만 봤을땐 특이 사항이 없어 보입니다.
문제의 상황과 오류 메세지를 좀더 상세하게 올려 주시고요..
무엇인 안되는지를 좀더 구체적으로 설명해 주세요~
- 빅디 드림
0
0
코드몽키
질문자
11:30 쯤 영상에서 위와 같이 tail -f flume-cmf-flume~~~ 치면 flume.sink.hdfs.BucketWriter: Creating ~~ 설명하시는데, 저한테는 저부분이 뜨질 안항서 질문드렸습니다 .tmp 파일도 안만들어져서요
아~ 네!! 상황파악 됐습니다. ㅎㅎ
음...보여주신 로그상에서 특별히 에러가 없는 것으로 봤을땐..
플럼의 파일 수집 이벤트(SpoolDir)가 작동하지 않은것 같습니다.
우선 스마트카 시뮬레이터가 파일을 생성 하는 위치와, 플럼이 이 파일을 읽어 들이는 위치가 달라서 다소 헷갈릴 수 있는데요. 아래와 같습니다.
1. 로그시뮬레이터가 스마트카 상태파일을 생성하는 위치: /home/pilot-pjt/working/SmartCar/
2. 플럼이 스마트카 상태파일을 읽어 들이는 위치 : /home/pilot-pjt/working/car-batch-log/
이때 1번에 생성된 파일을 2번으로 이동 시켜줘야, 플럼의 파일 이벤트가 작동해서 해당 파일을 읽어 들이는데요..이를위해 아래 명령으로 1번에 생긴 파일을 2번으로 이동 시키는 명령이 잘 실행 됐었는지도 확인해 봐야 합니다.
$ mv /home/pilot-pjt/working/SmartCar/SmartCarStatusInfo_20160101.txt /home/pilot-pjt/working/car-batch-log/
해당 강의 내용중 "SmartCar 로그시뮬레이터 작동" 과 "플럼 이벤트 작동" 부분을 한번더 꼼꼼히 보시면서 실습해 보시기 바랍니다.
추가로 플럼의 Conf 파일 수정 사항이 미적용 되어서, 파일 수집 이벤트가 발생하지 않았을 수도 있습니다. "CM Home > Flume > 재시작"도 꼭 해보시기 바랍니다.
- 빅디 드림