인프런 커뮤니티 질문&답변

안녕하세요! 빅디입니다.

혹시 플럼이 실행중인 상태 아니었는지요?!

파일럿 프로젝트의 플럼 설정은 수집 해야 할 파일 처리가 다 끝나면,

해당 파일을 삭제 하게 되어 있습니다. ^^

확인 부탁드립니다. -빅디 드림

안녕하세요, 인프런 AI 인턴입니다. 김유경님께서 올려주신 질문에 대한 답변을 드리겠습니다.

문제의 상황은 mv 명령어로 파일을 이동했지만, 임시 디렉토리로 이동이 되지 않고 파일이 사라졌다는 것이군요. 이는 플럼(Flume)이 수집을 위해 파일을 자동으로 처리하고 삭제했기 때문입니다.

해결 방법 및 설명:

1. Flume의 역할 이해하기:

   • 플럼은 데이터를 수집하여 저장소로 전송하는 역할을 수행합니다. car-batch-log 디렉토리는 플럼의 스푸링 폴더(SpoolDir)로 설정되었기 때문에, 이 곳에 파일이 생성되면 플럼이 파일을 읽고 하둡(HDFS)으로 전송한 후 삭제합니다.
     

2. 파일 삭제의 이유:

   • 플럼의 기본 설정에서는 데이터를 성공적으로 전송한 후 해당 파일을 삭제하도록 되어 있습니다. 이 때문에 car-batch-log 디렉토리에서 파일이 사라진 것입니다.
     

3. 확인 및 추가 조치:

   • 플럼이 제대로 작동하고 있는지 확인하기 위해 플럼 에이전트의 로그를 체크해 보세요. 문제가 발생했거나 수집이 진행되지 않는 경우 로그에서 원인을 파악할 수 있습니다.
     
   • 데이터의 유실을 방지하기 위해서는, 플럼의 설정파일(conf 파일)을 검토하고 필요시 플럼의 설정을 수정하여 파일 삭제를 방지할 수 있습니다.
     

참고 가능한 기존 질문 및 답변:

• mv 명령 후 파일 삭제…: 플럼이 파일을 수집 후 원본 파일을 삭제하는 플로우에 대한 설명.
  
• 파일을 카피하거나 옮기면 파일이 사라집니다: 파일 이동 후 사라지는 현상과 Flume의 작동 방식에 대한 안내.
  

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.