안녕하세요 강사님. 강의 잘보고 있습니다! 뒷 부분 강의에 있을 수도 있지만 현재 궁금한게 예를 들어 100만건 데이터를 reader -> writer 해야한다고 하면 청크 단위만 적절하게 조절해준다고 하면 out of memory 같은 에러는 발생하지 않을까요?? 물론 시스템 사양에 따라 조금씩 다르겠지만 노하우가 궁금합니다.   감사합니다.

안녕하세요 김영한 강사님! 올려주신 강좌 아주 잘 보고 있습니다. 실무에서 사용할법한 부분들도 너무 좋구요 그래서 질문이 있습니다. 질문이 기술적인거라기보다는 성능에 관한 것인데요 만약에 게시판을 테이블을 만들고 각 회원들이 게시판에 글을 씁니다. 그리고 각 글에는 댓글도 달수 있고요 그런데 예를 들면 블라인드의 각 회사별 게시판처럼 게시판이 종류별로 있다고 할때 아래와 같은 경우 어떻게 매핑을 해야할지 감이 잘 오지 않습니다. 게시판수 : 10개 (a,b,c.... 종류별 ) a 게시판에 달린 글수 : 1천만개 a 게시판의 1천만개에 달린 댓글수 : 3천만개 이럴 경우 @OneToMany private List<Comment> comments; @OneToMany private List<Post> posts; (일단 대충 적었습니다.) 라고 했을 경우 서비스쪽에서는 1. 게시판글수 표시 ( 10,566,999개) 2. 댓글수 (30,444,999개) 라고 표기해주고 관리자에서는 --------------------------- 게시판 | 게시글수 | 댓글수 | ---------------------------- a게시판 | 10,566,999개 | 30,444,999개| 라고 보여줘야 할 경우 게시판 테이블에 글수 카운팅 컬럼과 댓글수 카운팅 걸럼을 두는게 좋을지 아니면 community.getComment().size() 뭐 이런식으로 하는게 좋을지 감이 오지를 않습니다. lzay 로딩을 걸어도 결국 getPosts()size(), getComments.size() 할때 저 천만개와 3천만개 데이터를 다 select 할것 같은데요 그래도 성능상 문제가 없을지 고민이 됩니다. 즉, list 객체를 두고 사이즈를 가져와도 무방할런지 아니면 이렇게 데이터가 많을 경우는 차라리 카운트 컬럼을 주는게 나을런지 고민이 됩니다. 아무래도 주문이 엄청난 회사에 계시니 관리자에서 저런식으로 보여주는 곳이 있으실것 같은데 어떻게 하는지 궁금합니다. 긴글 읽어주셔서 감사합니다.

안녕하세요. 먼저 좋은 강의 올려 주셔서 감사합니다.  "캐글 설문조사로 데이터 분석 입문하기" 수강하면서 강의가 너무 좋아 "공공 데이타.." 강의도 수강하게 되었습니다.  강의를 듣고 있는 중에 실제 현업에 적용시 궁금한 사항이 있어서 이렇게 질문을 남깁니다. • pandas를 이용해 전처리를 수행 중에 대용량 데이터 건수를 전처리 하는 기능. 병렬 프로세스가 아닌 분산 환경에서 전처리를 할 수 있는 방법이 있을까요?  또 분산 환경에서 전처리를 수행할 경우 성능 개선 및 안정성, 효용성이 좋은 기술이 있을지 궁금합니다.  인터넷으로 검색하다 보면 modin/dask 등 몇 개의 라이브러리가 있던데 성능과 안정성, 유용성 등을 실제 경험해 보지 않아서 잘 모르겟습니다.

안녕하세요. 딥러닝 인공지능에 대한 학습을 마치고 핸드온으로 이어서 강의를 수강하고 있습니다. 먼저 좋은 강의 올려 주셔서 감사 합니다. 강의를 듣고 있는 중에 실제 현업에 적용시 궁금한 사항이 있어서 이렇게 질문을 남깁니다. • pandas를 이용해 전처리를 수행 중에 대용량 데이터 건수를 전처리 하는 기능. 병렬 프로세스가 아닌 분산 환경에서 전처리를 할 수 있는 방법이 있을까요?  또 분산 환경에서 전처리를 수행할 경우 성능 개선 및 안정성, 효용성이 좋은 기술이 있을지 궁금합니다.  인터넷으로 검색하다 보면 modin/dask 등 몇 개의 라이브러리가 있던데 성능과 안정성, 유용성 등을 실제 경험해 보지 않아서 잘 모르겟습니다.