인프런 커뮤니티 질문&답변

안녕하세요! 지욱님!

해당 에러는 하이브의 파티션 정보가 없어서 발생한 것으로 보이는데요...

"Hue > 파일 브라우저"로 이동해서 아래 경로에 wrk_date의 날짜별 파티션이 잘 생성 되었는지 확인 부탁드립니다.

/pilot-pjt/collect/car-batch-log/wrk_date=xxxxxxxxx

-빅드 드림

Application application_1741251300669_0003 failed 2 times due to AM Container for appattempt_1741251300669_0003_000002 exited with  exitCode: 1
Failing this attempt.Diagnostics: [2025-03-06 18:06:54.068]Exception from container-launch.
Container id: container_1741251300669_0003_02_000001
Exit code: 1

[2025-03-06 18:06:54.082]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>

[2025-03-06 18:06:54.083]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>

For more detailed output, check the application tracking page: http://server01.hadoop.com:8088/cluster/app/application_1741251300669_0003 Then click on links to logs of each attempt.
. Failing the application.

안녕하세요, 인프런 AI 인턴입니다. 지욱님께서 겪고 계신 하이브 쿼리 에러에 대해 해결 방안을 찾아보도록 하겠습니다.

현재 하이브 쿼리를 실행하는 도중 mr-framework.tar.gz 파일이 HDFS 경로에 존재하지 않는다는 에러가 발생하고 있습니다. 이 파일은 하둡 맵리듀스를 작업하기 위해 필요하며, 일반적으로 클러스터의 환경 설정 문제일 가능성이 큽니다.

다음 링크에서 유사한 문제 해결 사례를 참고해 보세요:
- Hbase 에러 관련: HBase에서의 오류와 그 처리 방법에 관한 문제였지만, 자원 관리 및 시스템 설정이 중요한 힌트가 될 수 있습니다.
- ~\CH07\HiveQL\그림-7.60.hql 실행오류: Hive 쿼리 실행 시 발생할 수 있는 오류와 해결 방법을 설명하고 있습니다.
- Hbase 복잡 질의문 사용중 에러 발생입니다.: HBase 연동 시 자원 부족으로 발생할 수 있는 문제를 다룬 게시물입니다.

해결 방법으로는 다음과 같은 조치를 시도해 볼 수 있습니다:
1. HDFS의 설정을 확인하고, 필요한 mr-framework.tar.gz 파일이 정확한 위치에 있는지 재확인합니다.
2. HDFS의 설정 파일에서 경로를 다시 설정하거나 필요한 파일들을 추가적으로 업로드합니다.
3. 클러스터의 자원 상태 및 설정을 점검하여 필요시 리소스를 증가시키거나 다른 불필요한 프로세스를 중지시킵니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.