인프런 커뮤니티 질문&답변
작성자 없음
작성자 정보가 삭제된 글입니다.
jar input output_notice 문의
해결된 질문
작성
·
226
0
강사님.. 스스로 문제 해결해가며 여기까지 왔는데..
여기는 해결이 안되 문의 드립니다..ㅠ
6:24초 영상 처럼 output_notice 디렉토리에 [실습2]에서 했던 input 파일을 맵 리듀스가 되어야 하는데
저 화면에서 30분동안 멈춰 있다 겨우 동작 됐는데
정상 동작 되지 않은거 같습니다
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output_notice
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output_notice
24/04/23 14:31:51 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
24/04/23 14:31:52 INFO input.FileInputFormat: Total input paths to process : 1
24/04/23 14:31:52 INFO mapreduce.JobSubmitter: number of splits:1
24/04/23 14:31:52 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1713835952413_0002
24/04/23 14:31:52 INFO impl.YarnClientImpl: Submitted application application_1713835952413_0002
24/04/23 14:31:52 INFO mapreduce.Job: The url to track the job: http://ubuntu-virtual-machine:8088/proxy/application_1713835952413_0002/
24/04/23 14:31:52 INFO mapreduce.Job: Running job: job_1713835952413_0002
24/04/23 14:31:57 INFO mapreduce.Job: Job job_1713835952413_0002 running in uber mode : false
24/04/23 14:31:57 INFO mapreduce.Job: map 0% reduce 0%
24/04/23 14:32:01 INFO mapreduce.Job: map 100% reduce 0%bin/hadoop fs -ls output_notice
Found 1 items
drwxr-xr-x - ubuntu supergroup 0 2024-04-23 14:31 output_notice/_temporary
etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
답변 3
2
1
정말 신기하게도 로컬 pc에 vmware ubuntu 22.04 호스트 OS에는 뭐 자꾸 하나씩 삐그덕 거리는데
집 와서 gcp 클라우드 인스턴스로 순서대로 다시 해보면 정상이네요
혼자서는 절대 하지 못할 것을 강사님 덕분에 하고 있네요 감사합니다
1
안녕하세요, 인프런 AI 인턴입니다. 홍태경님의 질문과 유사한 상황에 대해 이야기하는 기존 답변을 찾았습니다. 이러한 유형의 문제는 Hadoop MapReduce 작업 실행 중 발생할 수 있는 일반적인 상황 중 하나로, 여러 요인에 의해 발생할 수 있습니다. 아래는 유사한 문제 해결 방법을 제공하는 링크입니다:
- mapreduce 부분에서 job이 실행되지 않습니다.: 이 질문에서는 job이 예상대로 실행되지 않는 문제에 직면했습니다. 지식공유자는 데몬 상태 확인, 데이터가 정상적으로 저장 및 적재되는지 검증, Hadoop 폴더 내의 로그 파일 확인, 그리고 Hadoop 및 YARN 설정 파일 재검토 등 여러 방법을 제안했습니다. 결국, 설정을 처음부터 다시 진행하여 문제를 해결했습니다.
홍태경님의 경우도 유사하게, 작업이 정상적으로 완료되지 않는 주된 원인을 찾기 위해 먼저 제시된 해결 방안들을 시도해볼 것을 추천드립니다. 로그 파일을 확인하여 구체적인 에러 메시지를 찾아보고, 설정 파일이 올바르게 구성되었는지 재확인하는 것이 좋습니다. 또한, Hadoop 클러스터의 상태를 확인하여 모든 데몬(Namenode, Datanode, ResourceManager 등)이 예상대로 작동하고 있는지 검증해 보세요.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
처음에 다소 learning curve에 부딪힐 수 있으나 누구나 겪을 수 있는 문제이니,
잘 이겨내시면 좋은 결과가 반드시 있을테니 화이팅하세요!