인프런 커뮤니티 질문&답변
작성한 질문수
카프카 기능 구현 질문입니다.
작성
·
357
0
선생님 안녕하세요? 저는 완전 초급입니다. (개발자도 엔지니어도 아닙니다)
빅데이터에 관심이 있어 강의를 듣고 있는데...너무 어렵고 실습의 결과가 잘 나오지 않아 힘겼게 따라 가고 있습니다.
카프카 기능구현에서 실습을 3일째 반복 하고 있는데요. 아래 명령어 실행 후 결과 값이 정확히 나오지 않아 질문 드립니다.
kafak-topics --create --zookeeper server02.hadoop.com:2181 --replication-factor 1 --partitions 1 --topic SmartCar-Tpic 후
Created topic SmartCar-Topic. -> 이 문구가 나오지 않습니다. 어디를 수정하면 되는지요?
putty 에서 복사하는 방법도 몰라 이렇게 직접 작성해서 질문 드립니다.
답변 5
0
선생님 안녕하세요?
스톰 UI 관련하여 아래 storm-nimbus.out 파일입니다. 이게 log인가요? 아래 내용을 보면 문제를 알 수 있나요? supervisor.out, ui.out 파일도 있습니다만 이게 맞는 파일인지 확신이 없네요....확인 부탁 드립니다.
Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus
Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus
Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus
Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus
Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus
Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus
Running: java -server -Ddaemon.name=nimbus -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx1024m -Dlogfile.name=nimbus.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.nimbus
선생님 안녕하세요?
스톰 UI의 문제가 위의 로그와 아래의 로그를 보고 해결 할 수 있을까요? 저에게는 엄청난 고민입니다!
선생님 제가 구글링을 해보아도 해결 할 수 있는 방법을 못 찾고 있습니다. 해결 방법을 알려주시면 정말 감사하겠습니다!!!
<storm-supervisor.out>
Running: java -server -Ddaemon.name=supervisor -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx256m -Dlogfile.name=supervisor.log -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.supervisor.Supervisor
Running: java -server -Ddaemon.name=supervisor -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx256m -Dlogfile.name=supervisor.log -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.supervisor.Supervisor
Running: java -server -Ddaemon.name=supervisor -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx256m -Dlogfile.name=supervisor.log -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.supervisor.Supervisor
Running: java -server -Ddaemon.name=supervisor -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx256m -Dlogfile.name=supervisor.log -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.supervisor.Supervisor
Running: java -server -Ddaemon.name=supervisor -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx256m -Dlogfile.name=supervisor.log -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.supervisor.Supervisor
Running: java -server -Ddaemon.name=supervisor -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx256m -Dlogfile.name=supervisor.log -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.supervisor.Supervisor
Running: java -server -Ddaemon.name=supervisor -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/storm/conf -Xmx256m -Dlogfile.name=supervisor.log -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.daemon.supervisor.Supervisor
<storm-ui.out>
Running: java -server -Ddaemon.name=ui -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/apache-storm-1.2.3:/home/pilot-pjt/storm/conf -Xmx768m -Dlogfile.name=ui.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.ui.core
Running: java -server -Ddaemon.name=ui -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/apache-storm-1.2.3:/home/pilot-pjt/storm/conf -Xmx768m -Dlogfile.name=ui.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.ui.core
Running: java -server -Ddaemon.name=ui -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/apache-storm-1.2.3:/home/pilot-pjt/storm/conf -Xmx768m -Dlogfile.name=ui.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.ui.core
Running: java -server -Ddaemon.name=ui -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/apache-storm-1.2.3:/home/pilot-pjt/storm/conf -Xmx768m -Dlogfile.name=ui.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.ui.core
Running: java -server -Ddaemon.name=ui -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/apache-storm-1.2.3:/home/pilot-pjt/storm/conf -Xmx768m -Dlogfile.name=ui.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.ui.core
Running: java -server -Ddaemon.name=ui -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/apache-storm-1.2.3:/home/pilot-pjt/storm/conf -Xmx768m -Dlogfile.name=ui.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.ui.core
Running: java -server -Ddaemon.name=ui -Dstorm.options= -Dstorm.home=/home/pilot-pjt/apache-storm-1.2.3 -Dstorm.log.dir=/home/pilot-pjt/apache-storm-1.2.3/logs -Djava.library.path=/usr/local/lib:/opt/local/lib:/usr/lib -Dstorm.conf.file= -cp /home/pilot-pjt/apache-storm-1.2.3/*:/home/pilot-pjt/apache-storm-1.2.3/lib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib/*:/home/pilot-pjt/apache-storm-1.2.3/extlib-daemon/*:/home/pilot-pjt/apache-storm-1.2.3:/home/pilot-pjt/storm/conf -Xmx768m -Dlogfile.name=ui.log -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector -Dlog4j.configurationFile=/home/pilot-pjt/apache-storm-1.2.3/log4j2/cluster.xml org.apache.storm.ui.core
안녕하세요! 신의비상 님!
이런경우 답답하고..짜증나고..맘고생도 심하게 되는데요..TT
저희가 단순 강의가 아닌, 파일럿 프로젝트 강의이고..이런 문제를 더 많이 경험하고 해결해 보는 것이, 그렇지 않은 경우보다 개인에겐 더 의미 있는 프로젝트가 됩니다. ^^
하나씩 풀어가며 문제를 좁혀 보시죠!!!
Storm UI 로그에서 특별한 에러 메세지가 표기 되지 않았다면...
요건 아마도 Nimbus와 Supervisor 문제로 보입니다.
Storm-UI는 단지 Nimbus 와 Supervisor의 정보를 모니터링 하는 관리자 화면일뿐입니다.
위에 올려 주신 이미지 캡처처럼 Storm-UI 웹에서 아무 정보도 표기 되지 않고 있는건..
Nimbus 와 Supervisor가 제대로 기동 되지 않았다는 의미입니다.
우선 아래사항을 체크해서 결과를 알려 주시기 바랍니다.
1. Server02에 Putty 접속하셔서, 그냥 storm 명령을 실행할 결과
$ storm
2. 잘못된 Storm UI 웹화면이 나온 상태에서 Server02에 Putty로 접속해서 Nimbus와 Supervisor 상태 명령 결과
$ service Storm-Nimbus status
$ service Storm-Supervisor status
3. Storm의 Nimbus, Supervisor, UI 로그파일을 다운로드 받아서 파일을 통채로 올려주세요.
우선 위 3가지 확인 부탁 드립니다. -빅디 올림
0
선생님 안녕하세요?
어제까지 스톰 UI 접속이 되지 않아 질문 드렸다가 조금전 스톰 UI 접속이 되었습니다.
스톰 UI 접속 화면이 이렇게 나와도 되는지요? 아님 강의 영상처럼 나오게 하려면 어떻게 하면 되는지요?
그리고 hbase shell 명령 후 count 'DriverCarInfo' 실행하면 아래와 같은 결과 값이 나오네요...
다른 질문을 찾아 보고 CM Hbase 재시작하고 count 'DriverCarInfo' 실해해도 위와 같은 결과만 나오네요...
하둡, 얀, 주키퍼 등 클라우데라 매니저에서 계속 재시작 후 실행해도 결과값이 나오지 않네요....
안녕하세요! 빅디 입니다.
실시간 적재 단계가 좀 복잡스럽습니다. ^^;;
하나씩 해결 해야할 것 같은데요..
Storm에 환경구성에 문제가 있어 보입니다.
의심 되는건 Storm의 환경설정 파일(.yaml , .xml)을 수정하면서 오타가 예상됩니다.
특히 /home/pilot-pjt/storm/conf 하위의 storm.yaml 파일에서
"띄어쓰기", "대소문자" 등을 강의 내용과 똑같이 정확하게 입력 하셔야 합니다.
이외에 스톰의 설치 과정들을 다시 한번 꼼꼼히 체크해 보시기 바랍니다.
스톰이 제대로 설치 되면, 이후에 HBase 문제를 해결해 보시죠!!! -빅디 드림
선생님 오늘도 storm.yaml 파일에서 수정하고 스톰ui에 접속해도 마찬가지네요.
제가 작성한 storm.yaml 파일 수정 내용입니다.
여기 내용에서 수정 할 부분이 있을까요?
안녕하세요! 빅디 입니다.
storm.yaml 파일에는 문제 없어 보입니다.
스톰의 Nimbus 와 Supervisor 의 상태가 의심 스러운데요..
스톰을 기동하고, 시간을 갖고 아래 명령들을 실행해 보시고, 결과 확인 부탁드리고요.
$ java -version
$ service storm-nimbus status
$ service storm-supervisor status
$ service storm-ui status
추가로 아래 경로에 스톰 인스턴스별 로그 파일들이 떨어져 있습니다.
/home/pilot-pjt/storm/logs
해당 로그를 분석해 원인을 찾아보시고요...
잘 모르겠으면 로그파일도 공유해 주세요!! ㅎㅎ - 빅디 드림
선생님 아래 실행한 내용과 로그 파일 공유 드립니다.
로그 파일입니다. 어디서 잘 못했는지 잘 모르겠습니다....ㅠㅠ
제가 vi /root/bash_profile 에서도 아래와 같이 했는데...잘 못한 부분이 있는지요?
아! 죄송합니다.
제가 스톰의 로그파일의 위치를 잘못 설명 드렸네요!! ^^;;
/var/log/storm 아래의 nimbus, supervisor, ui별 로그파일 입니다.
추가로 아래 명령으로 java 버젼도 확인해 봐 주세요!!
$ java -version
안녕하세요?
java -version 는 1.8로 강의 내용과 동일하게 나옵니다.
nimbus, superviosr, ui 에 대한 로그파일은 cat, tail, vi 중 하나를 결정하여 들어가서 봐야 되는건가요?
저는 리눅스를 잘 몰라 위의 선생님 답변을 보고 이해하고 수정할 수준이 아니라 이렇게 계속 질문을 드립니다.
로그 파일이 많더라도 캡처하여 올리겠습니다. 선생님께서 확인하여 문제가 되는 부분을 알려주시면 정말 감사하겠습니다.
안녕하세요! 빅디 입니다.
로그 파일을 볼때 cat, tail, vi 명령중 하나로 볼 수 있다는 것만 알아도...파일럿 프로젝트를 진행 하시는데 아무 문제 없습니다.
해당 로그 파일을 열어 내용을 분석해 볼땐 vi 또는 vim 명령을 이용하시면 됩니다.
예를들어 vi의 검색 명령을 통해 검색어로 "ERROR" 또는 "error" 라인을 찾아 앞뒤의 로그 내용을 보면서 무슨 이유로 문제가 발생 했는지 분석해 보는 것 입니다.
추가로 의견을 드리자면..
vi 사용법을 조금더 익히시면 좋을듯 합니다.
특정 예제 파일을 가지고, vi의 입력/수정/삭제/검색/저장(종료) 이렇게 5가지 명령만 잠깐 훈련해 보세요. 인터넷에서 "vi 사용법" 이라고 찾아 보면 아주 잘 설명 되어 있어서 따라하기도 쉬울겁니다. ^^
- 빅디 올림
선생님 안녕하세요?
지난 번 질문 드린 내용에 대하여 아직도 원인을 파악하지 못하고 있네요....
스톰 UI는 위의 캡처 화면 그대로고요. 로그파일은 어떻게 보고 수정할지도 모르겠네요...제가 이해를
못하고 있고 구글링해도 해결이 되지 않네요...그래서 스톰UI 신경쓰지 않고 다음 실습하는 과정에서
이런 결과가 나와서 왜 그런지 확인 부탁 드립니다.
강의 내용과 결과가 동일하게 나오지 않으면 처음부터 다시 해 볼 생각입니다. ^^
안녕하세요! 신의 비상님!
파일럿 프로젝트를 진행 하면서 작은 실수들을 하는데...
요런 작은것 하나로도 프로그램들이 작동하지 않기 때문에 큰 문제가 있는것 같고, 어려워들 합니다.
실제 프로젝트 현장에서도 이와같은 일들이 비일비재 하고, 이보다 더 복잡한 문제들에 부딪치고요..
하지만 요런 시행착오를 여러번 경험 하다보면 이런 문제의 패턴과 유형도 보이게 되고, 문제를 해결 하는 능력도 점차 쌓이게 됩니다. 그리고 이게 정말 중요한 실력의 차이를 만들어 냅니다. ㅎㅎ
그때까지 포기하지 마시고 계속 도전 하셔야 합니다!!!
오늘 문의하신 것도 오타가 문제입니다. TT
$ hbase org.apache.hadoop.hbase.util.RegionSplitter DriverCarInfo HexStringSplit -c 4 -f cf1
RetionSplitter 에서 "n"이 빠져서 해당 자바 클래스를 호출하지 못해 발생한 ClassNotFoundException 입니다.
추가로 스톰UI의 결과가 비정상인 상태에서 다음 단계로 넘어 가선 제대로된 실습을 진행할 수 없습니다.
스톰의 설치단계로 돌아가 꼼꼼히 체크해가며 오늘과 같은 오타가 있었는지 꼭~ 확인해 보시기 바랍니다.
- 빅디 올림
0
선생님 오늘 Redis 설치 시 나오는 Error입니다.
모든 프로그램 종료를 잘 하고 PC를 재 시작해서 다시 설치 명령을 해도 아래와 같이 결과가 나오네요...
제가 어디서 잘못했는지 모르겠네요.
위의 명령어를 아래와 같이 실행하면 되나요? 구글링해서 찾아 본 내용인데요~
이렇게 실행한 후 yum install -y gcc* 로 실행하면 될까요?
(root@server02 ~)# echo https://vault.centos.org/6.10/os/x86_64/ > /var/cache/yum/x86_64/6/base/mirrorlist.txt
(root@server02 ~)# echo http://vault.centos.org/6.10/extras/x86_64/ > /var/cache/yum/x86_64/6/extras/mirrorlist.txt
(root@server02 ~)# echo http://vault.centos.org/6.10/updates/x86_64/ > /var/cache/yum/x86_64/6/updates/mirrorlist.txt
0
선생님 질문 드립니다.
적재 파일럿 실행 4단계-적재 기능 테스트 실습에서 아래와 같이 강의 내용과 동일하게 결과가 나오지 않네요...
그리고 위의 내용 결과 값 무시고 이후 실습 내용 따라 log 파일 두 개 생성해서 hdfs dfs -cat /pilot-pjt/collect/car-batch-log/wrk_data=20210619/car-batch-log.~~~~~~~~~~.log 을 실행하면 스마트카 상태 정보를 불러 오지 못하네요...
제가 어디서 잘 못했는지요??????
안녕하세요! 빅디 입니다.
첫번째 결과는 사용자 마다 다르게 보이는게 정상입니다.
두번째로 아래명령을 실행 했을때 발생한 에러 메세지를 보내 주세요. - 빅디 드림
hdfs dfs -cat /pilot-pjt/collect/car-batch-log/wrk_data=20210619/car-batch-log.~~~~~~~~~~.log
오늘 다시 해보니 강의 내용과 동일 하지는 않지만 마지막 결과 값까지 완료했습니다.
제가 너무 몰라 귀찮게 질문을 계속 드려 죄송하네요....나머지 강의 보면서 계속 질문이 나와도
이해 부탁 드립니다. 즐거운 일요일 보내세요!
0
안녕하세요! 빅디 입니다.
처음에는 많이 어려울 수 있습니다. 저또한 그랬으니깐요..^^;
우선 주신 질문 내용만으로 정확한 원인 파악이 어렵습니다.
kafka-topic --create .. 명령후 하단에 찍힌 메세지를 올려 주셔야 문제의 원인을 조금이나마 유추해 볼 수 있습니다.
그전에 Cloudera Manager에 접속 하셔서, 주키퍼/카프카 서비스가 정상인지 꼭 확인해 보시기 바랍니다.
주키퍼/카프카가 정상 일때 카프카 토픽 생성이 됩니다.
참고로 Putty 창의 내용을 복사하는 법은, 해당 텍스트를 마우스로 드래그 하고 엔터만 치시면 됩니다. ^^
- 빅디 올림
선생님 Cloudera Manager에 접속하여 주키퍼/카프카 서비스 정상으로 가동하고 난 이후에도 결과 값이 여진히 나오지 않아 콘솔에 나와 있는 내용을 캡쳐해서 올립니다.
[Created topic SmartCar-Topic.] ---> 이 결과값이 나오지 않는 오류는 제가 어디서 잘 못했는지 알수 없어 선생님에게 확인 부탁 드립니다. 감사합니다
로그를 보니 이미 SmartCar-Topic 이 생성되어 있어 중복 생성을 할수 없다는 내용이네요~
테스트로 SmartCar-Topic-Test 라는 이름으로 토픽을 생성해 보세요! 아마 Create Topic.. 관련 메세지가 나올겁니다. - 빅디 올림
네~ 맞습니다. ㅎㅎ
Storm의 Nimbus, Supervisor, UI 별로 3개의 로그파일이 있습니다.
주로 스톰의 토폴로지 배포중 문제가 발생 했을때는 Nimbus 로그를 참고 하고요,
실시간 데이터 처리 동작중 문제가 발생 했을때는 Supervisor 로그를..
웹페이지 UI 관련해서는 UI로그를 보시면 됩니다. - 빅디 드림