인프런 영문 브랜드 로고
인프런 영문 브랜드 로고

인프런 커뮤니티 질문&답변

안재우님의 프로필 이미지
안재우

작성한 질문수

15일간의 빅데이터 파일럿 프로젝트

6.적재 파일럿 실행 4단계 - 적재 기능 테스트

flume으로 파일이 잘 넘어갔는지 확인하는 부분에서 오류가 납니다ㅠㅠ

작성

·

349

0

안녕하세요 플럼에서 자꾸 오류가 나서 문의 드립니다....

답변 2

0

안재우님의 프로필 이미지
안재우
질문자

알려주신 방법으로 해보았지만 아직 오류가 해결되지 않아서 한번 더 문의드립니다...!

Big.D님의 프로필 이미지
Big.D
지식공유자

네..플럼에 문제가 없다면, 하둡(HDFS)을 의심해 봐야할 것 같습니다.

플럼이 HDFS_Sink를 통해 하둡에 데이터를 적재 하게 되는데, 하둡에 문제가 발생하면 플럼에까지 영향을 주게 됩니다.

우선 CM홈에서 HDFS / YARN / Zookeeper 서버의 상태가 정상인지 확인해봐 주시고요..
(각 서버들의 상태가 셧다운 되어 있는지, 오류는 없는지 등을 확인)

그리고 하둡이 Safe Mode로 전환 됐는지도 Putty로 접속해 아래 명령으로 확인 부탁 드립니다.

$ hdfs dfsadmin -safemode get

만약 Safe 모드가 On 이라면 아래명령으로 해제해 주세요.

$ hdfs dfsadmin -safemode leave

 

- 빅디 드림

0

Big.D님의 프로필 이미지
Big.D
지식공유자

안녕하세요! 빅디 입니다.

현재 보여진 로그만 가지고는 정확한 원인을 찾기가 어렵습니다. TT

좀더 위에 있는 로그들도좀 보여 주시고요~

 

그전에 의심스러운 부분을 추측해 보면...플럼의 채널에서 Full 이 발생 했다는 로그를 볼 수 있는데요..

앞선 강의에서 플럼 활경설정에서 힙메모리를 늘려 주었는지 체크해 보시고요..

두번째는 스마트카 로그시뮬레이터가 동시에 여러개 실행 되었는지도 확인해 보시고요..

요렇게 2개만 우선 체크하고, 아래 절차대로 진행해 봐 주세요.

1. 로그시뮬레이터 종료

2. 플럼 서비스 종료

3. car-batch-log 경로의 데이터를 아래 명령으로 모두 삭제

     $ rm -rf /home/pilot-pjt/working/car-batch/*

4. 플럼 서비스 시작

5. 로그시뮬레이터 실행

이렇게 처음부터 다시 테스트해 보시기 바랍니다.  -빅디 드림

안재우님의 프로필 이미지
안재우

작성한 질문수

질문하기