rdd, dataframe, spark sql 각각 언제 사용할까요?

안녕하세요 km9311님,Spark 2 버전에서는 주로 RDD를 활용했지만, Python에서 RDD를 사용할 경우 성능 저하 문제가 발생할 수 있습니다. 따라서 현재 PySpark에서는 DataFrame을 사용하여 데이터를 테이블 형식으로 변환한 후 SQL을 사용하는 방식이 권장됩니다.

수업노트 github 주소가 404가 많아요

안녕하세요 김샬롬님,강의 자료는 "강의 코드 자료"에서 보시면 다운 받으실 수 있습니다. Github이 프라이빗으로 바뀌어서 그런 거 같네요.

gradle build 오류 문의

안녕하세요 kkangssil님,Eclipse에서는 정상적으로 빌드가 동작하지만 CLI에서 실패하는 경우, CLI의 환경 설정 예를들면, Java 경로, Gradle 버전, 캐시 등이 원인일 수 있습니다.java -version하셔서 Gradle과 호환되는 Java 버전을 사용 중인지 확인하시거나, gradle clean 그리고 gradle build 하셔서 캐시를 정리해 보시는 방법도 좋은 방법인 것 같습니다.

강의 후반부에 나온 실습 코드는 어디서 받을 수 있나요?

안녕하세요 seonghyeock님,혹시 어떤 강의에 대한 코드가 없는지 영상 제목을 말씀해주실수 있나요? 제가 보기에는 코드 자료 에서 파일 다운로드 받으시면 다 들어있는 것 같은데, 워낙 보충 강의가 많다보니 lecture25라고 찾기에는 어려움이 있네요.한번 확인해 주시겠어요?

윈도우에서 curl 인증문제

흐음 다시 한번 Cert를 다운받아서 쓰셔보겠어요? Cert가 확인이 안되는거라 제가 어떻게 도와드릴수가 없네요.

강의자료 어디서 받나요?

안녕하세요 라이언킹님,강의 자료는 각 영상별로 수강자료가 첨부 되어있습니다

윈도우에서 curl 인증문제

안녕하세요 정세종님,아마도 파워쉘을 사용하시고 계신거 같은데, Cert 경로시 문제가 있는 것 같습니다.curl.exe --cacert C:\tmp\ca.crt -u elastic:changeme https://localhost:9200그래도 안된다면 Cert 확인을 비활성화 하셔서 사용하셔도 될 듯 합니다.curl.exe --cacert C:\tmp\ca.crt --ssl-no-revoke -u elastic:changeme https://localhost:9200마지막으로 ca.crt 파일이 잘 복사 되었는지 확인해 주세요.그렇게 해도 안되면... ㅎㅎㅎ 다시 질문 남겨주세요 ㅎㅎ

cdc 기반의 스트리밍 데이터 처리

안녕하세요 leeceo97님일단 Spark Streaming은 지속적으로 데이터를 처리하고 변경 사항을 효율적으로 캡처하는 데 적합합니다. 이를 활용하여 말씀하신, 10개의 Iceberg 테이블 변경 사항을 종합해 Datamart에 반영할 수 있습니다.구체적으로는 Iceberg의 스냅샷(snapshots) 기능을 활용하여 최근 스냅샷과 이전 스냅샷의 차이를 추출합니다. 그리고 Spark Streaming으로 변경 데이터 처리 Spark Streaming을 사용하여 변경 데이터를 실시간으로 읽고 변환합니다. 마지막으로 Iceberg의 MERGE INTO를 활용하여 Datamart에 반영하면 될 듯 합니다(https://iceberg.apache.org/docs/1.7.1/spark-writes/#merge-into)요약하면 다음과 같습니다.변경 데이터 수집:Iceberg의 Snapshots 또는 CDC 데이터 스트림.데이터 통합 및 조인:Spark Structured Streaming을 통해 10개 테이블의 변경 데이터 집계 및 조인.Datamart 반영:Spark SQL + Iceberg의 MERGE INTO로 실시간 또는 배치 업데이트.도움이 되었을까요?

broadcast 코드 예시 관련 질문

안녕하세요 워농님,좋은 질문 감사합니다. 제가 연말이라 바쁘다보니 답변이 늦었는데, AI가 답변을 해줬네요 ㅎㅎ.일단 워농님이 말씀하신 부분도 맞고 AI가 대답한 부분도 맞습니다. 여기 실습에서는 어떤 식으로 작동을하는지 보여드릴려고 이렇게 작성을 했고, 실질적인 프로젝트에서는 두개의 데이터를 조인할 때 하나의 데이타가 다른 데이터에 비해 상당히 작고, 메모리에 들어갈 경우에 이런 식으로 조인합니다. 기본적인 셔플 조인은 노드끼리 Shuffle이 많이 일어나기 때문에 훨씬 느리기 때문이죠.혹시 더 질문 있으시면 남겨주세요!

파이썬 Class Method 질문

안녕하세요 Yoo bo hyun님,밑에 AI 인턴이 열심히 설명했네요 ㅎㅎㅎ. 말그대로 인스턴스는 공장에서 뽑아낸 각각의 자동차라고 생각하시면 되고, 그중 하나의 자동차를 도색해서 자신의 만의 스타일로 변환하는 것 같이, 각각의 그 인스턴스의 메소드를 사용해서 변경하실 수 있습니다. 그에 반해 Class Method는 전체 인스턴스에 해당하는 점을 만든다고 생각하시면 됩니다.