작성
·
366
·
수정됨
0
안녕하세요
parquet을 read할때, 파티션 개수는 저장할때의 partition으로 고정될까요??
parquet을 read 할때 partiton 1개당 size가 너무 커서, partiton 개수를 늘려서 read 하고 싶습니다. 혹시 방법이 있을까용?
감사합니다.
답변 1
1
네 제가 알기론 아쉽게도 없습니다. 저장을 그렇게 크게한 파이프라인을 바꾸셔야 돨 듯합니다. 일단 파일 수 자체가 작기 때문에 읽을때도 뭐 그대로 처음부터 그파티션들만 읽어야줘. 방법이 없습니다.
명쾌한 답변 감사합니다 ㅎㅎ