인프런 커뮤니티 질문&답변
작성한 질문수
tail -f flume-cmf-flume-AGENT-server02.hadoop.com.log 오류
24.06.08 02:19 작성
·
177
답변 2
0
2024. 06. 08. 11:12
안녕하세요! 김태욱님!
파일럿 프로젝트 열공 해주셔서 제가 기분이 좋습니다. ^^*
해당 로그는 이미 지나 쳤을수도 있으니, vi명령으로 최근 로그를 확인해봐 주시고요~
혹시 아래 명령으로 HDFS에 파일이 정상 적재 되어 있는지 확인 부탁 드립니다.
$ hdfs dfs -ls -R /pilot-pjt/collect/car-batch-log/
-빅디 드림
2024. 06. 09. 02:45
아 제 pilot-pjt가 pilot_pjt (언더바)로 잘못 표기해놔서 mv 명령어로 수정하고 전 과정을 다시 진행해봤는데도 안되네요...
아래와같은 오류 로그 떴습니다.
2024. 06. 09. 15:19
지피티에선 이렇게 이야기하는데 JAR 파일은 건든적도 없고 저만 따로 만져줘야할리는 없지않나요?
그리고 다른 질문란에 java 버전도 문제일 수 있다해서 확인했는데 1.8.... 어쩌구 강의에서 알려준 버전과 일치했습니다.
2024. 06. 09. 15:40
안녕하세요! 김태욱님!
주말에 파일럿 프로젝트로 너무 고생 하시네요...TT
지금 발생중인 문제는 설중중 오타 또는 선행과정 누락문제로 보입니다.
하나씩 해결해 보죠~
우선 Server02에 접속해 아래 명령 결과 스크린샷 부탁 드립니다.
$ ls -ltr /home/pilot-pjt/working
ps. 참고로 파일럿 프로젝트를 통해 이런 트러블슈팅 경험이 아~주 중요합니다. ^^
2024. 06. 09. 17:06
넵! 확인 잘 했습니다.
플럼 인터셉터가 누락되어 보이는데요...
아래 절차로 플럼 인터셉터 설정을 재구성해봐 주세요~
FTP클라이언트인 파일라 실행해 Server02에 접속
업로드 경로: /opt/cloudera/parcels/CDH/lib/flume-ng/lib
C://예제소스/bigdata2nd-master/CH4/bigdata.smartcar.flume-1.0.jar 파일을 /opt/cloudera/parcels/CDH/lib/flume-ng/lib 경로에 업로드
CM 홈에서 Flume 재기동
요렇게 하고 재테스트 해봐주세요!!!
관련 강의 내용은 "04-06. 적재 파일럿 실행 4단계-적재 기능 테스트"에서 실습 초반부에 있습니다. ^^
-빅디 드림
2024. 06. 09. 18:21
엇 말씀하신대로 조치하니 이런 오류가 뜹니다.
찾아보니 복제 계수를 저사양은 1인데 pdf를 꼼꼼히 못보고 2로 설정해서 다시 배포하고 수정했습니다만 원래 뜨고 있던 오류는 사라지지않았는데 어떻게 해결할 수 있을까요?
0
2024. 06. 08. 02:21
안녕하세요, 인프런 AI 인턴입니다. 김태욱 님의 질문에 답변드립니다.
질문 내용을 바탕으로 본문에 언급된 tail -f flume-cmf-flume-AGENT-server02.hadoop.com.log 명령어 사용과 관련하여 유사한 사례를 찾아보았습니다. 해당 명령어는 Flume의 로그 파일을 실시간으로 추적하기 위해 사용되며, 문제 상황이 발생했을 때 Flume의 로그를 통해 문제의 원인을 파악하는 데 핵심적인 역할을 합니다.
다만, 질문에서 언급한 구체적인 오류 메시지나 상황에 대해 완전히 일치하는 정보는 찾지 못했습니다. 그렇지만 유사한 문제 해결 과정을 다룬 게시글을 발견했습니다. 이 게시글들은 Flume과 Kafka를 사용하는 과정에서 발생할 수 있는 여러 문제와 해결 방법을 다루고 있어, Flume 설정이나 로그 관련 문제 해결에 도움이 될 가능성이 있습니다.
- 문의: tail -f /var/log/flume-ng/flume-cmf-flume-AGENT-server02.hadoop.com.log 실행시
- 이 게시글은
tail -f /var/log/flume-ng/flume-cmf-flume-AGENT-server02.hadoop.com.log를 실행했을 때 나오는 로그 정보와 관련된 문제를 다루고 있습니다. Flume의 로그 파일을 실시간 추적하면서 나타나는 에러 없이 로그가 찍히지 않는 상황과 유사합니다. 이 글에서는 비슷한 문제 상황에 대한 해결 방안을 제시하고 있습니다.
- 이 게시글은
불행히도 직접적으로 귀하의 문제를 해결할 구체적인 해결책을 제공하는 것은 어렵지만, 위 링크의 내용이 유사한 문제 해결에 참고가 될 수 있습니다. Flume의 로그 혹은 설정에 관련된 문제를 해결할 때는 Flume의 구성 파일 검증, Flume 서비스의 재시작, 로그에서의 오류 메시지 분석 등이 중요한 체크 포인트입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
2024. 06. 09. 01:22
말씀대로 해본 결과
파일 또는 디렉토리가 없다고 나오네요 ㅠ 정상적으로 적재가 되지 않습니다..
원래 txt 파일은 mv가 정상적으로 된 것도 확인했습니다만..
