작성
·
72
0
안녕하세요.
Zeppelin 노트북을 통해, 쿼리를 날리는 실습을 하고 있습니다.
SHOW TABLES 등과 같은 쿼리는 잘 작동하고 있습니다.
하지만, 몇몇 테이블에 대해 아래와 같이 접근을 시도하면 그 이후 모든 쿼리가 작동하지 않습니다.
예를들어 3개의 테이블이 있다고 하면,
managed_smartcar_drive_info1
managed_smartcar_drive_info2
managed_smartcar_drive_info3
managed_smartcar_drive_info1 에 대해
SELECT * FROM managed_smartcar_drive_info1 LIMIT 10
은 몇 번을 시도하여 잘 되지만,
SELECT * FROM managed_smartcar_drive_info2 LIMIT 10
혹은
SELECT * FROM managed_smartcar_drive_info3 LIMIT 10
에 대해 시도하면 fb303 에러가 뜨고 있습니다.
그 후 SELECT * FROM managed_smartcar_drive_info1 LIMIT 10
를 다시 실행하면, 동일하게 에러가 발생합니다
.
putty를 통한 HIVE, HUE를 통한 임팔라와 하이브에서 모두 정상적으로 작동하지만, Zeppelin에서만 문제가 발생하고 있습니다.
restart를 하여도, 기존에 정상 작동하던 테이블 및 쿼리만 정상작동하며, 오류를 야기하는 테이블 및 쿼리는 다시 시도해도 동일한 결과가 나오고 있습니다.
thrift, fb303모두 종속성을 설정해도 잘 안되는 것 같습니다 ㅠ
ㅠ
답변 1
0
안녕하세요! 이주현님!
파일럿 프로젝트 후반부를 달리고 계시는군요?! 끝까지 화이팅! 입니다. ^^
질문주신 스크린샷을 보면...
Zeppelin의 "%spark.sql" 대신 "%sql" 후, Hive조회 쿼리를 명령을 실행 했는데요?
혹시 강의 내용과는 별게로, Zeppelin의 Hive 인터프리터로, 하이브 테이블을 직접 조회해 보고 싶은건지요??
우선 현상만 봤을땐 다음과 같이 복합적인 문제들로 의심이 듭니다.
managed_smartcar_drive_info의 2,3번 테이블이 1번과 상이한 구성(접근권한, 계정 등)으로 만들어 졌는지 체크해 봐야 할 것 같고요,
그로인해 2,3번 테이블 조회시 예외상황이 발생 했는데, 이게 Zeppelin의 fb303 클라이언트 라이브러리에 영향을 주면서 fb303이 비정상 상태가 된것으로 보입니다.
이후 정상 이었던 1번 테이블 조회 명령도 fb303을 통해 Hive의 메타정보 및 상태정보를 갖어 올 수 없어 발생하는 문제로 의심됩니다.
위 내용으로 체크해봐 주세요~ -빅디 드림