mapreduce 부분에서 job이 실행되지 않습니다.

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술

해결된 질문

작성

206

수정됨

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output_notice 의 커맨드 실행하면 아래와 같은 로그가 나오고 더이상 실행되지 않습니다.

23/10/04 20:52:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
23/10/04 20:52:14 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032
23/10/04 20:52:15 INFO input.FileInputFormat: Total input paths to process : 1
23/10/04 20:52:16 INFO mapreduce.JobSubmitter: number of splits:1
23/10/04 20:52:16 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1696420330687_0001
23/10/04 20:52:16 INFO impl.YarnClientImpl: Submitted application application_1696420330687_0001
23/10/04 20:52:17 INFO mapreduce.Job: The url to track the job: http://218.38.137.27:8088/proxy/application_1696420330687_0001/
23/10/04 20:52:17 INFO mapreduce.Job: Running job: job_1696420330687_0001

위 상태에서 그대로 멈춰있습니다.

jps 결과값은 아래와 같습니다.

80752 NodeManager
80805 RunJar
80996 Jps
68263 NameNode
80663 ResourceManager
15464
68495 SecondaryNameNode
68366 DataNode

혹시 몰라서 리소스매니저(port 8088)의 스크린샷을 첨부하였습니다.

스크린샷 2023-10-04 오후 8.53.38.png

아래는 yarn-site.xml입니다.

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>127.0.0.1</value>
  </property>

해결할 수 있는 방법을 알 수 있을까요?

빅데이터 hadoop elasticsearch logstash Kibana apache-spark s3-bucket

답변 1

J.PHIL

지식공유자

안녕하세요 우정식님,

우선 강의를 열심히 수강해주셔서 감사합니다. 몇가지 사항들을 검토해봐야하는데 제가 직접 머신에 접근을해서 확인할 수 없는 상황이라 해결하는데 다소 시간이 걸릴 수 있습니다.

우선 데몬들은 다 정상적으로 올라온 것 같습니다만, 일단 hadoop fs -cat input 이라고 했을때 데이터가 정상적으로 출력되나요? (데이터가 정상적으로 저장되고 적재되는지 확인하기 위해서 & 그리고 namenode format 혹시 두번 하셨던적이 있을까요? 가령 포맷당시 overwrite 할것인지 말것인지 물어봤는지)
hadoop 폴더안에 logs 폴더가 있을겁니다. 그 안에 먼저 *-resourcemanager.log 와 *-nodemanager.log 를 살펴보시면 이상있다는 로그가 나올텐데 확인하시고 혹시나 /etc/hadoop/ 세팅한 coniguration들을 다시 한번 살펴보시기 바랍니다. 발견하셨으면 수정하시고 stop-all.sh 하신다음 (가능하다면 재부팅까지 /tmp/* 폴더를 초기화 시켜주기 위해) 다시 start-all.sh 해서 정상 데몬들 올리시고 job 재실행보시기바랍니다.

우정식

질문자

로그를 봐도 이상한게 없어서 처음부터 다시 설정했더니 동작하였습니다. 감사합니다.

인프런 커뮤니티 질문&답변

mapreduce 부분에서 job이 실행되지 않습니다.