인프런 커뮤니티 질문&답변
작성한 질문수
선생님, 질문이 있습니다!
작성
·
164
0
안녕하세요 선생님, 지난번에 consumer가 메세지를 받지 못한다고 했던 사람입니다!
아래에 어떤 분이 저와 같은 문제를 겪고 계신것같은데, 제가 처음 질문드린 사람입니다!
말씀해주신대로 먼가 문제가 있어서 플럼 로그를 확인해보니 SmartCar-agent 컨피규레이터? 그런게 없다고 해서
플럼의 구성 tier를 확인해보니까 제가 SmartCar-Agent가 아니라 SmartCar-agent라고 카멜케이스를 지키지 않아서 생긴 문제 같습니다.
저게 컨슈머가 메세지를 받지 못하는것과 상관이 있나요?? 분명 오늘 다시해보니 hello bigdata는 잘 받는거같은데
그리고 다시 오늘 시도해보니 생긴 문제가
SmartcarStatusInfo20160101.txt 이 로그를 발생시켜서 working/SmartCar 안에 잘 있음을 계속 확인하고
mv 명령을 통해 해당 로그 파일을 car-batch-log 폴더로 옮기고 car-batch-log의 디렉토리를 확인해보면
total 0 아무것도 전달되지 않더라고요;; <--이 부분 어떻게 하면좋을까요ㅠㅠ
몇번씩 오타 확인을 해도, 그리고 mv명령을 쓰기 전 SmartCar 안 폴더에 txt가 잘 있는걸 확인해도
저 부분에서 문제가 있어서 여태 컨슈머가 잘 받지 못한건지 의아스럽네요.....
감사합니다!
답변 2
0
일단 batch-log는 잘 받아들여 지는 거 같습니다. agent 이름의 오류를 수정하고 나서는 데이터가 들어왔다는 것은 확인했습니다. 근데 여전히 카프카가 말썽이네요. 오류도 없는데, 당췌 데이터가 올라오는 것을 볼 수가 없습니다. 그냥 batch로만 받는 방법은 없는 건가요? 정말 이 부분때문에 저도 많이 지치네요 ㅠ.ㅠ
0
안녕하세요! 빅디 입니다.
유사한 질문을 주신분이 계셔서 관련 답변을 복붙합니다. -빅디 올림
-----------------------------------------
플럼은 작동할때 Agent 이름을 지정하는데 이때 Configuration에 설정된 이름을 사용 하게 되고
"No configuration found for this host:tier1.." 라는 경고 메세지는 Agent 이름(SmartCar_Agent) 이 Configuration 파일에 정의된 Agent 이름과 불일치 하여, 데이터를 수집/전송 하기 위해 파일럿 환경에 등록 했던 에이전트가 원천적으로 작동 되지 않은것 같습니다.
아래의 내용을 확인 하시고 조치해 보시기 바랍니다.
1. "클라우데라 매니져 Home > Flume > 구성" 선택
2. 구성의 중간 영역에 "Agent이름" 항목 확인
3. "SmartCar_Agent" 로 대소문자 구분 하여 명확히 표기 되어 있는지 확인
4. Flume 재기동
결국 3번이 파일럿 환경에서 사용하는 플럼의 에이전트 명이 되고, 정확히 입력 되어 있는지 확인해 보시기 바랍니다.
아넵! ㅎㅎ 제가 그럼 정확히 다시 답변 드립니다.
"저게 컨슈머가 메세지를 받지 못하는것과 상관이 있나요?? 분명 오늘 다시해보니 hello bigdata는 잘 받는거같은데"
위 질문에 답은 상관이 있습니다 입니다.
Hello Bigdata 메세지는 플럼과 상관없이 전송 한거기 때문에 카푸카의 프로바이더 <-> 컨슈머간 통신이 잘 된거고요..
로그파일은 플럼이 수집해 카푸카에 전송하고 카푸카의 컨슈머가 이를 받아 로그파일의 내용을 보여 주기 때문입니다.
즉 로그파일이 잘 생성 됐어도 플럼이 에이전트 이름의 불일치로 정상 작동이 안되었기 때문에, 해당 로그파일을 수집 조차 하지 못한겁니다.
- 빅디 올림
프로젝트에선 기능도 중요하지만..요런 문제 해결 과정이 더 큰 의미가 있습니다.
오타 하나로 1주일간 날을 세기도 하니깐요..ㅎ
1. 사용한 실시간로그시뮬레이터 명령
2. 카프카 컨슈머 명령
3. 플럼 config 파일 내용
남겨줘 보세요~ 빅디 드림