인프런 커뮤니티 질문&답변

이용주님의 프로필 이미지
이용주

작성한 질문수

우리를 위한 프로그래밍 : 파이썬 중급 (Inflearn Original)

안녕하세요. 파이썬에서 대용량 데이터 처리할 때 방법에 대해서 궁금한 점이 있습니다

작성

·

333

0

안녕하세요. 기초적인 파이썬 지식만 가지다가, 이런 강의를 알게 되어서 레벨 2, 3, 4로 실력을 키우려고 하고 있습니다

그런데 현재 직면한 문제를 해결할 수 있는 방안을 알고 싶습니다

코드를 올려드리기 전에 프로그램 흐름이

반복문을 통해서 계속 append를 하게 되는데, 이 때 시스템 모니터를 보면 메모리가 올라가다가 어느 임계점에서 프로그램이 강제적으로 종료되는데, 이런 상황에서는 중간중간마다 따로 계산하거나 변수를 통해서 나눠주거나 이러한 기법들을 사용해야 할까요?

답변 2

0

이용주님의 프로필 이미지
이용주
질문자

네 멀티 프로세싱이 궁금한데, 처리를 cpu가 나눠서 처리하는 것이고 어차피 메모리는 지속적으로 올라가는 개념이 아닌가요?

감사합니다

0

좋은사람님의 프로필 이미지
좋은사람
지식공유자

중간에 파일로 저장을 해서 크기를 분산시키거나

멀티 프로세싱 등을 활용해서 처리해도 될 것 같습니다.

이용주님의 프로필 이미지
이용주

작성한 질문수

질문하기