인프런 커뮤니티 질문&답변

wjdgml3834님의 프로필 이미지

작성한 질문수

초보자를 위한 BigQuery(SQL) 입문

battle 테이블 형성할 때 제가 어떤 실수를 했을까요?

해결된 질문

작성

·

362

1


안녕하세요! 카일스쿨님!
battle 테이블을 영상 그대로 만들었는데도, 계속 battle 테이블에 관한 데이터에 관한 정보를 볼 수가 없어요!
빠진것 없이 최대한 꼼꼼히 다시 체크했는데도 모르겠습니다.
혹시 제가 어떤 실수를 했을지 도와주실 수 있나요?

아래는 스키마 정보와, 제가 테이블 만들때 과정을 이미지로 첨부했습니다.

감사합니다.

답변 3

0

원인을 찾았습니다. https://stackoverflow.com/a/73810374

 

tl;dr: 빌링 어카운트 연결한 뒤에 dataset (basic) 을 만들어야 함

카일스쿨님의 프로필 이미지
카일스쿨
지식공유자

!! 앗 알려주셔서 감사합니다. 앞부분에 빌링하고 해주세요라고 했어서 당연히 하셨을 줄 알았는데 이게 진행 안되면 PARTITION 기능을 비활성화했군요...! 감사합니다!

그냥 안된다고 해주면 되는것 같은데 되게 이상하게... 데이터가 사라지는 결론으로 가네요 허허

0

카일스쿨님의 프로필 이미지
카일스쿨
지식공유자

240426

  • 원격으로 봤는데, PARTITION BY를 할 때 이슈가 있었어요

  • DML 쿼리를 사용할 때도 PARTITION BY가 없을 땐 잘 저장되다가 넣는 순간 데이터가 사라집니다

  • 이는 BigQuery 자체 오류 같아요. 제 계정은 되는데 wjdgml님 계정에서만 발생하네요

  • 저도 빅쿼리쪽에 한번 문의 넣어볼게요. 이런 이슈가 보통 몇일 뒤에 하면 해결되기도 합니다

  • wjdgml님에게는 제가 일단 실습하실 수 있도록 설정해드렸어요

 

1) 데이터를 생성할 때 자동 탐지 설정하고 생성(파티션을 설정하면 데이터가 없어지므로) : test 테이블

2) 생성된 데이터를 의도된 형태로 다시 쿼리

SELECT 
  id,
  player1_id,
  player2_id,
  winner_id,
  battle_date,
  DATETIME(battle_datetime) AS battle_datetime,
  TIMESTAMP(DATETIME(battle_datetime)) AS battle_timestamp
FROM `basic.test` 

3) 쿼리 실행 후, 쿼리 저장 - BigQuery 테이블 클릭한 후, battle_temp라고 저장

image

 

4) 파티션을 설정하기 위해 아래 DML 쿼리 실행 => wjdgml님은 PARTITION BY를 사용할 경우 데이터가 모두 사라지는 현상이였어요

CREATE OR REPLACE TABLE `basic.battle`
PARTITION BY DATE(battle_datetime)
AS
SELECT 
  id,
  player1_id,
  player2_id,
  winner_id,
  battle_date,
  battle_datetime,
  battle_timestamp
FROM `basic.battle_temp` 

 

 

파티션 설정이 강의에서 필수는 아니기에 일단 학습하시고 추후에 다시 해보는 것으로 이야기했습니다. 파티션을 설정해야 한다는 것을 알려드리기 위함이였어서 만약 다른 분들도 비슷한 이슈를 겪으시면 이렇게 저장하시고 쿼리 실습하셔도 충분히 이해가 될거에요.

 

 

0

카일스쿨님의 프로필 이미지
카일스쿨
지식공유자

wjdgml님 안녕하세요. 강의 자료 다운로드 받는 곳에 "윈도우는 반디집으로 압축을 풀어주셔야 정상적으로 나옵니다!"라고 작성드렸는데 혹시 반디집으로 압축을 푸셨을까요?

카일스쿨님의 프로필 이미지
카일스쿨
지식공유자

wjdgml3834님의 프로필 이미지
wjdgml3834
질문자

저는 맥 유저에요!
그리고 파일안의 csv 내용들은 모두 잘 표현되어있습니다.

다른 테이블들은 잘 추가되는데, 오직 battle 테이블만 추가가 안되어서 문의드려요!

카일스쿨님의 프로필 이미지
카일스쿨
지식공유자

그러시군요..! 흐음 저도 처음부터 파일을 새로 다운로드받고 진행했는데 저는 정상적으로 잘 로드가 되네요.

 

혹시 맥에서 파일을 열고 저장 같은 것을 하셨을까요?

이런 경우에 아예 파일을 새롭게 받고 다시 해보는 것을 추천해요. 열기를 하는 과정에서 뭔가를 만지는 경우도 있더라구요.

 

테이블 만들기 클릭 후 작업 상세 정보엔 어떻게 뜨나요?

wjdgml3834님의 프로필 이미지
wjdgml3834
질문자

imageimageimage세부 정보는 위와 같이 뜨네요!
다시 자료 다운로드 해서 csv 파일 불러와도 똑같아요 ㅠ

카일스쿨님의 프로필 이미지
카일스쿨
지식공유자

PM을 위한 데이터 리터러시 디스코드 한번 봐주셔요