인프런 커뮤니티 질문&답변
작성한 질문수
파티셔닝 시, 데이터 크기가 0B가 됩니다!
해결된 질문
작성
·
183
0
안녕하세요. 빅쿼리를 좀 더 공부하고 싶어, 강의를 결제하게 되었습니다.
다름이 아니라, app_logs_temp 데이터를 강의에서 알려준대로, upload 하고 테이블을 만들었을 떄는
정상적으로, 잘 표시가 되는데요, 문제는 event_date 를 기준으로 (날짜 기반 파티셔닝)을 했을 때, 데이터가 0B가 되는 문제가 발생합니다!
Array, Struct 문제에서 4번 문제를 풀때, "데이터를 표시할 수 없다" 라는 말이 있어서, 왜 이럴까.. 하다가, 발견하게 되었어요..
저는 이미 예전에 빅쿼리를 사용해본 적이 있어서, billing account 계정이 모두 연결된 상태이구요.
chatgpt 말로는 이 방법도 안된다면, 빈 파티셔닝 테이블 만들어 놓고 INSERT INTO로 하나하나 데이터 넣으라는데... 예전에 프로젝트 할 때, 이 방법으로 했다가 돈이 꽤 나와서요..
어떻게 해야할까요?
답변 3
2
직접 화면을 보면서 수정했으며, 요약하면
빌링 설정이 되어있어도, 데이터셋을 예전에 만들었다면 데이터셋을 새로 생성해야 함
데이터셋을 새로 생성한 후, CREATE TABLE을 하면서 파티션 설정하니 정상적으로 동작했습니다!
0
minsubrother님 안녕하세요! 질문 남겨주셔서 감사합니다.
앗 데이터가 없다고 나오는군요.. BigQuery 입문 강의 때, 비슷한 이슈들이 존재했어요.
그리고 시간이 지나서 다른 분이 "앗 나는 했는데?"라고 하시다가 계좌 연결 -> 데이터셋 새로 생성 후 정상적으로 되었던 적이 있어요.
데이터셋을 새로 생성하셨어도 그런 일이 발생하신걸까요? 아마 잘 진행해주셨을 것 같은데, 데이터셋 새로 생성하셨는데도 그렇다면 디스코드에서 한번 화면을 같이 보면서 이야기를 해봐도 좋을 것 같은데 어떠신가요?
학습 차원에서는 temp에서 하루의 데이터만 추출해서(22년 8월 1일) 학습해도 무방하긴 한데, 과제를 하려면 데이터를 많이 보긴 해야할거라 이슈를 해결해야겠네요..! 디스코드 들어오셨으면 말씀해주시면 같이 화면 보면서 해결해보아요
0
안녕하세요, 인프런 AI 인턴입니다. minsubrother님의 질문에 대해 성실히 조사해 보았습니다.
빅쿼리에서 데이터를 파티셔닝할 때 데이터 크기가 0B로 표시되는 문제는 여러 원인에 의해 발생할 수 있습니다. 해당 문제의 주요 원인으로는 파티셔닝 키가 올바르지 않게 설정되었거나, 파티셔닝 설정 과정에서 오류가 발생한 경우 등이 있을 수 있습니다. 특히, minsubrother님께서 언급하셨듯이, 이미 빌링 계정이 연결되어 있는 상태에서 발생하는 문제라면 빅쿼리의 설정이나 데이터 자체의 문제일 가능성이 높습니다.
이와 유사한 상황에 대한 해결 방법이 논의된 게시물은 아래와 같습니다:
- battle 테이블 형성할 때 제가 어떤 실수를 했을까요? 이 글에서는 battle 데이터 테이블을 생성할 때 데이터가 표시되지 않는 문제를 경험한 사용자에게, 파티셔닝 과정이나 빅쿼리의 설정을 검토하는 방법을 안내하고 있습니다. 해당 이슈는 빌링 어카운트 연결 후 데이터셋을 생성해야 한다는 것과, 파티션 설정 시 데이터가 사라지는 문제가 논의되었으며, 이러한 문제를 해결한 사례에 대해 설명하고 있습니다.
파티셔닝 시 데이터 크기가 0B로 나타나는 문제는 매우 구체적인 상황에 따라 다른 원인과 해결책이 있을 수 있으므로, 유사한 일반적인 문제에 대한 해결 방법을 참고하면서 minsubrother님의 상황에 맞게 적용해 보시길 권장드립니다.
빅쿼리에서 파티셔닝을 할 때는 데이터베이스 스키마, 파티셔닝 키, 데이터 포맷 등이 올바르게 설정되어 있는지를 다시 한번 검토해보시는 것이 중요합니다. 특히 파티셔닝 키로 사용되는 필드가 모든 데이터에서 유효한 값으로 존재하는지, 그리고 해당 필드의 데이터 타입이 파티셔닝 설정과 일치하는지 확인해 보시기 바랍니다.
이러한 문제를 해결하는 과정에서 추가적인 비용이 발생할 수 있으므로, 예산을 고려하면서 최적의 해결책을 찾아가는 것도 중요합니다. 필요한 경우 Google Cloud의 공식 문서를 참조하거나, 빅쿼리 관련 커뮤니티 인프런에서 더 많은 정보를 얻을 수 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
디스코드 오셨으면 아무 채널이나 제게 DM 주셔요..!