인프런 커뮤니티 질문&답변

뎁꼼님의 프로필 이미지
뎁꼼

작성한 질문수

실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크

CSV 파일을 Dataframe으로 읽어오기

parquet read시 partition 개수

작성

·

366

·

수정됨

0

안녕하세요

parquet을 read할때, 파티션 개수는 저장할때의 partition으로 고정될까요??

parquet을 read 할때 partiton 1개당 size가 너무 커서, partiton 개수를 늘려서 read 하고 싶습니다. 혹시 방법이 있을까용?

 

감사합니다.

답변 1

1

미쿡엔지니어님의 프로필 이미지
미쿡엔지니어
지식공유자

네 제가 알기론 아쉽게도 없습니다. 저장을 그렇게 크게한 파이프라인을 바꾸셔야 돨 듯합니다. 일단 파일 수 자체가 작기 때문에 읽을때도 뭐 그대로 처음부터 그파티션들만 읽어야줘. 방법이 없습니다.

뎁꼼님의 프로필 이미지
뎁꼼
질문자

명쾌한 답변 감사합니다 ㅎㅎ

뎁꼼님의 프로필 이미지
뎁꼼

작성한 질문수

질문하기