인프런 커뮤니티 질문&답변

이주현님의 프로필 이미지

작성한 질문수

15일간의 빅데이터 파일럿 프로젝트

5.분석 파일럿 실행 3단계 - 01. 임팔라로 실시간 분석

Zeppelin 쿼리 도중 fb303 에러

24.08.08 09:46 작성

·

59

0

안녕하세요.

 

Zeppelin 노트북을 통해, 쿼리를 날리는 실습을 하고 있습니다.

 

SHOW TABLES 등과 같은 쿼리는 잘 작동하고 있습니다.

하지만, 몇몇 테이블에 대해 아래와 같이 접근을 시도하면 그 이후 모든 쿼리가 작동하지 않습니다.

예를들어 3개의 테이블이 있다고 하면,

 

managed_smartcar_drive_info1

managed_smartcar_drive_info2

managed_smartcar_drive_info3

 

managed_smartcar_drive_info1 에 대해

SELECT * FROM managed_smartcar_drive_info1 LIMIT 10

은 몇 번을 시도하여 잘 되지만,

 

SELECT * FROM managed_smartcar_drive_info2 LIMIT 10

혹은

SELECT * FROM managed_smartcar_drive_info3 LIMIT 10

에 대해 시도하면 fb303 에러가 뜨고 있습니다.

 

그 후 SELECT * FROM managed_smartcar_drive_info1 LIMIT 10

를 다시 실행하면, 동일하게 에러가 발생합니다

화면 캡처 2024-08-08 094331.png

.

 

putty를 통한 HIVE, HUE를 통한 임팔라와 하이브에서 모두 정상적으로 작동하지만, Zeppelin에서만 문제가 발생하고 있습니다.

 

restart를 하여도, 기존에 정상 작동하던 테이블 및 쿼리만 정상작동하며, 오류를 야기하는 테이블 및 쿼리는 다시 시도해도 동일한 결과가 나오고 있습니다.

 

thrift, fb303모두 종속성을 설정해도 잘 안되는 것 같습니다 ㅠ

화면 캡처 2024-08-08 094631.png

답변 1

0

Big.D님의 프로필 이미지
Big.D
지식공유자

2024. 08. 08. 19:31

안녕하세요! 이주현님!

파일럿 프로젝트 후반부를 달리고 계시는군요?! 끝까지 화이팅! 입니다. ^^

질문주신 스크린샷을 보면...

Zeppelin의 "%spark.sql" 대신 "%sql" 후, Hive조회 쿼리를 명령을 실행 했는데요?

혹시 강의 내용과는 별게로, Zeppelin의 Hive 인터프리터로, 하이브 테이블을 직접 조회해 보고 싶은건지요??

 

우선 현상만 봤을땐 다음과 같이 복합적인 문제들로 의심이 듭니다.

managed_smartcar_drive_info의 2,3번 테이블이 1번과 상이한 구성(접근권한, 계정 등)으로 만들어 졌는지 체크해 봐야 할 것 같고요,

그로인해 2,3번 테이블 조회시 예외상황이 발생 했는데, 이게 Zeppelin의 fb303 클라이언트 라이브러리에 영향을 주면서 fb303이 비정상 상태가 된것으로 보입니다.

이후 정상 이었던 1번 테이블 조회 명령도 fb303을 통해 Hive의 메타정보 및 상태정보를 갖어 올 수 없어 발생하는 문제로 의심됩니다.

위 내용으로 체크해봐 주세요~ -빅디 드림