cdc 기반의 스트리밍 데이터 처리

안녕하세요 leeceo97님일단 Spark Streaming은 지속적으로 데이터를 처리하고 변경 사항을 효율적으로 캡처하는 데 적합합니다. 이를 활용하여 말씀하신, 10개의 Iceberg 테이블 변경 사항을 종합해 Datamart에 반영할 수 있습니다.구체적으로는 Iceberg의 스냅샷(snapshots) 기능을 활용하여 최근 스냅샷과 이전 스냅샷의 차이를 추출합니다. 그리고 Spark Streaming으로 변경 데이터 처리 Spark Streaming을 사용하여 변경 데이터를 실시간으로 읽고 변환합니다. 마지막으로 Iceberg의 MERGE INTO를 활용하여 Datamart에 반영하면 될 듯 합니다(https://iceberg.apache.org/docs/1.7.1/spark-writes/#merge-into)요약하면 다음과 같습니다.변경 데이터 수집:Iceberg의 Snapshots 또는 CDC 데이터 스트림.데이터 통합 및 조인:Spark Structured Streaming을 통해 10개 테이블의 변경 데이터 집계 및 조인.Datamart 반영:Spark SQL + Iceberg의 MERGE INTO로 실시간 또는 배치 업데이트.도움이 되었을까요?

broadcast 코드 예시 관련 질문

안녕하세요 워농님,좋은 질문 감사합니다. 제가 연말이라 바쁘다보니 답변이 늦었는데, AI가 답변을 해줬네요 ㅎㅎ.일단 워농님이 말씀하신 부분도 맞고 AI가 대답한 부분도 맞습니다. 여기 실습에서는 어떤 식으로 작동을하는지 보여드릴려고 이렇게 작성을 했고, 실질적인 프로젝트에서는 두개의 데이터를 조인할 때 하나의 데이타가 다른 데이터에 비해 상당히 작고, 메모리에 들어갈 경우에 이런 식으로 조인합니다. 기본적인 셔플 조인은 노드끼리 Shuffle이 많이 일어나기 때문에 훨씬 느리기 때문이죠.혹시 더 질문 있으시면 남겨주세요!

파이썬 Class Method 질문

안녕하세요 Yoo bo hyun님,밑에 AI 인턴이 열심히 설명했네요 ㅎㅎㅎ. 말그대로 인스턴스는 공장에서 뽑아낸 각각의 자동차라고 생각하시면 되고, 그중 하나의 자동차를 도색해서 자신의 만의 스타일로 변환하는 것 같이, 각각의 그 인스턴스의 메소드를 사용해서 변경하실 수 있습니다. 그에 반해 Class Method는 전체 인스턴스에 해당하는 점을 만든다고 생각하시면 됩니다.

재생에 문제가 생겼어요 라는 메세지가 자꾸 뜨네요

흐음.... 인프런에 문제가 있나보네요. 저는 재생되는데 계속 문제가 지속되면 인프런 문의하고를 눌러보세요ㅠㅠ

docker-compose로 실행 시 es01이 중지됩니다.

안녕하세요 권정현님,제가 현재 휴가 중이라 랩탑이 없는 상태인데, 혹시 직접 클론을 하시지 마시고, 제가 제공해드린 코드의 docker-compose로 사용해 보시겠어요? 제가 필요없는 부분과 필요한 부분을 좀 바꾼 코드로 실행하시는데 최대한 문제 없이 만들어 놓았기 때문에 실행이 잘 되실 겁니다.

한국어 자막 요청 가능할까요?

안녕하세요 H N님,인프런 영상을 보실때 오른쪽 하단을 보시면 자막을 켜는 방법이 있습니다. 인프런 자체에서 AI로 자막을 달아주는 것 같은데, 영어를 듣기 힘드시다면, 자막을 켜시고 시청하시면 도움이 되실 것 같습니다.그리고 제가 영어로 강의하는 이유는 조금이나마 수강생님들이 해외로 나갈수 있는 기회가 있을때 도움이 되라고(실제로 많은 분들이 도움을 많이 받았다고 연락이 옵니다ㅎㅎ) 계속 제가 영어로 강의를 하고 있습니다. 영어로 강의 들으시면서 앞으로는 영어로 공부하는 습관을 들이시면 커리어에 큰 도움이 되실 겁니다.

강의용 Jupyter Notebook Source는 제공이 어렵나요?

안녕하세요 jiwoo_lee님,판다스 강의 자료는 판다스 섹션에 올려 놓았습니다. 좋은 피드백 감사드립니다.원래 이 강의가 제 데이타 사이언스 기초 강의(https://inf.run/a29h7)였는데, 파이썬 강의 배우시는 분들도 들으면 좋겠다싶어 보충강의로 나중에 들어온 거라 제가 코드 자료 올려야 되는 점을 깜박했네요.도움이 되셨으면 좋겠습니다.

setup-1 이 실행되었다가 꺼지는 현상

안녕하세요 은스페어님,강의를 보시면 아시겠지만, 원래 setup 컨테이너는 certification만 만들고 없어지는게 맞습니다. 그리고 다른 이미지들이 다 떠 있는 걸로 봐서는 별 문제 없어보이는데요?혹시 더 질문 있으시면 남겨주세요

assistant에서 file 업로드 하고 쓰레드 사용시 token 사용 및 사용 방법 문의

안녕하세요,OpenAI API에서는 파일을 업로드한 뒤 file을 참고하는 방식으로 질문을 하면, 파일 내 데이터를 검색하거나 활용하는 데 매번 토큰 사용량이 발생합니다. 이로 인해 요청마다 토큰 비용이 청구될 수 있습니다.파일을 사용하는 방식은 token 비용이 누적될 가능성이 있으므로, 질문 빈도나 파일 크기에 따라 비용이 증가할 수 있습니다. 특히, 질문의 맥락을 계속 유지하려면 해당 파일의 일부를 매번 호출해야 하므로 비효율적일 수 있습니다.이럴 경우, Fine-Tuning을 사용하면, 데이터 파일을 모델에 직접 학습시키고 그 데이터를 "지식"으로 내장시킵니다. 이후 모델이 Fine-Tuned 데이터에 기반해 답변을 생성하므로 매번 파일을 참조할 필요가 없습니다.Fine-Tuning은 다음과 같은 경우에 적합합니다데이터가 비교적 고정적이며, 자주 변경되지 않는 경우.모델이 특정 도메인이나 데이터에 대해 깊은 이해를 가져야 하는 경우.API 사용량을 줄이고 싶을 때.단, Fine-Tuning 과정 자체에도 비용이 발생하며, 데이터가 자주 변경되는 경우 업데이트마다 재학습이 필요해 유지비용이 늘어날 수 있습니다. 제 생각에는 Fine-Tuning 없이 embedding을 활용하여 검색 기반으로 시스템을 구축하는 것도 좋은 대안입니다. -> Text Embedding을 사용해 Document Similarity 찾아보기데이터를 OpenAI API의 text-embedding 모델을 사용해 벡터화(embedding)합니다.이를 벡터 검색 시스템(e.g., Pinecone, Weaviate, FAISS)에 저장합니다.사용자가 질문을 할 때, 질문을 embedding으로 변환한 뒤 벡터 검색을 통해 관련 데이터만 검색하여 응답합니다. 이 방식은 데이터를 자주 변경하거나 추가해야 할 때 유리합니다. 파일을 매번 불러오는 것보다 효율적이고, Fine-Tuning보다 유연할 겁니다

Dockerfile compose build 에러

안녕하세요 msj990305님,제 생각에는 기존에 사용했던 Volume때문에 문제가 있는 것 같은데, docker volume ls와 docker inspect 를 사용하셔서 Volume 지우신 다음에 한번 해보세요아니면 RUN echo 'ubuntu:password' | chpasswd --stdin 바꾸셔서 해 보시거나, RUN echo 'ubuntu:password' | sudo chpasswd으로 코드를 바꿔보시겠어요?