인프런 커뮤니티 질문&답변
작성한 질문수
Subject-5 workflow 실행 에러
작성
·
297
0
1. workflow5 실행 중 error 발생
[Worflow에서의 ERROR 내용]
2022-05-02 16:26:56,063 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[subject5 Workflow] JOB[0000006-220502133436893-oozie-oozi-W] ACTION[0000006-220502133436893-oozie-oozi-W@hive-ab5e] Launcher ERROR, reason: Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2]
2022-05-02 16:26:56,081 INFO org.apache.oozie.command.wf.ActionEndXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[subject5 Workflow] JOB[0000006-220502133436893-oozie-oozi-W] ACTION[0000006-220502133436893-oozie-oozi-W@hive-ab5e] ERROR is considered as FAILED for SLA
hive-ab5e 이름의 파일 확인 시 워크플로 두 번째 스크립트 내용
insert overwrite table Managed_SmartCar_Item_BuyList_Info partition(biz_month)
2. Hue에서 작업 섹션에 액세스 시 아래 오류가 발생
HTTPConnectionPool(host='server01.hadoop.com', port=19888): Max retries exceeded with url: /jobhistory/logs/server02.hadoop.com:8041/container_1651465951375_0035_01_000001/1/admin?doAs=admin (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))
다른 분의 ERROR 게시 글을 확인하였는데,
언급해주신 내용은 아래와 같습니다.!
- HDFS 권한 검사 체크 해제 확인 (O)
- superuser group 추가(X)
내용: user 'admin' does not exist.
도움 주시면 감사하겠습니다.!!!!!
답변 1
1
안녕하세요! 장혁님!
주제영역.5의 workflow까지 문제 없이 진행 되었다면..권한문제는 아닌것으로 보입니다.
에러 내용으로 봤을땐, 하둡의 서버들과 연결 문제로 보이는데요..
위 상황에서 하둡 서버들의 상태를 체크해 보셔야 할 것 같습니다.
우선 CM Home에서 Cloudera Manager 서비스 모니터링이 정지 되어 있다면 시작해 주시고요,
CM Home에서 HDFS, YARN 의 상세로 각각 들어가셔서, 구성 서버들 (리소스메니져서버, 잡히스토리서버 등) 의 상태를 확인 부탁 드립니다.
- 빅디 드림
상태 확인 결과 YARN의 구성 서버들 (리소스메니져서버, 잡히스토리서버 등)에서 에러가 확인되어 재시작하여 문제 해결하였습니다.!
도움주셔서 감사합니다.!!